Таблица HBase как вход MapReduce?

Question

Мне интересно узнать, какие плюсы и минусы имеют таблицу HBase в качестве ввода задания mapreduce? как это влияет на производительность?

Answer 1

Достоинства: 1. Точный поиск возможен, устраняя необходимость читать целые данные.

2. Уменьшить фазу можно полностью избежать, если hbase интегрирован как источник входного сигнала, так как могут быть получены полные данные для заданной клавиши.

Против: 1. если размер hbaseBlock не настроен должным образом сканирования очень небольшой набор может привести к сканированию полные исходные данные (1% читают в худшем случае может привести к чтению данных 100%)

2. В случае полного сканирования прямое чтение из hdfs является наиболее предпочтительным выбором .
3. Hbase может привести к злоупотреблению ДПП, если «datalocality не поддерживается из-за перемещения регионов через серверы региона»

В целом все это зависит, как уже один настроенный HBase в зависимости от его моделей чтения/записи