Я хочу читать данные из таблицы Hbase, используя команду get, в то время как у меня есть также ключ строки. Я хочу сделать это в приложении Spark streaming, есть ли какой-либо источник код, который может поделиться?Чтение данных из Hbase с помощью команды Get в Spark
0
A
ответ
0
Вы можете использовать Spark newAPIHadoopRDD
для чтения таблицы Hbase, которая возвращает и RDD.
Например:
val sparkConf = new SparkConf().setAppName("Hbase").setMaster("local")
val sc = new SparkContext(sparkConf)
val conf = HBaseConfiguration.create()
val tableName = "table"
conf.set("hbase.master", "localhost:60000")
conf.set("hbase.zookeeper.quorum", "localhost:2181")
conf.set("zookeeper.znode.parent", "/hbase-unsecure")
conf.set(TableInputFormat.INPUT_TABLE, tableName)
val rdd = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[ImmutableBytesWritable], classOf[Result])
println("Number of Records found : " + rdd.count())
sc.stop()
Или вы можете использовать любой Спарк Hbase разъем как разъем Hortonworks Hbase.
https://github.com/hortonworks-spark/shc
Вы также можете использовать искровую Phoenix API.
Смежные вопросы
- 1. Чтение данных Hbase в Spark Streaming
- 2. Чтение данных из HBase с использованием Apache Spark
- 3. Чтение данных из HBase
- 4. Чтение данных из HBase через Спарк Потоковое
- 5. Spark Streaming с Hbase
- 6. Чтение большого графика от Titan (на HBase) в Spark
- 7. читать данные из HBase с помощью Spark с JAVA
- 8. Уменьшение задержки между узлами Spark и HBase
- 9. Чтение Avro записывается из HBase в Java
- 10. Чтение данных API с помощью curl с методом GET
- 11. Снимки Spark и HBase
- 12. Spark Streaming: source HBase
- 13. Spark Streaming в HBase с логикой фильтрации
- 14. Apache Spark: чтение RDD из Spark Cluster
- 15. Проблема с соединением Spark Hbase
- 16. Искры с HBASE vs Spark с HDFS
- 17. Чтение HBase и масштабирования
- 18. Spark to Hbase using Oozie
- 19. Чтение данных разъема Spark-Cassandra
- 20. Hbase Upsert with Spark
- 21. Hbase using spark-sql
- 22. Как подключить HBase и Spark с помощью Python?
- 23. Чтение из Cassandra с помощью Cloudera Hadoop с использованием Spark
- 24. HBase чтение/запись с использованием pyspark
- 25. Hbase Spark Connector
- 26. передача данных из hdfs в hbase с помощью свиньи
- 27. Как записать данные в HBase с помощью Java API Spark?
- 28. чтение данных из hdfs и сохранение его в hbase?
- 29. Хранение данных в Hbase с помощью свиньи
- 30. Spark: печать данных Hbase и преобразование их в Dataframe
Я не думаю, что вы можете использовать Спарк потокового для этого. Но вы можете прочитать таблицу Hbase, используя Spark newHadoopAPI, которая возвращает RDD или использует любой коннектор, такой как HortonWorks Hbase, который возвращает DataFrame или использует Phoenix Spark API. – Shankar