Многопоточное сканирование HBase действительно медленное

Question

Я использую HBase для хранения данных временных рядов. Используя предложение в книге O'Reilly HBase, я использую ключ строки, который является меткой времени с помощью соленого префикса. Чтобы запросить эти данные, я создаю несколько потоков, которые осуществляют проверку по диапазону временных меток, при этом каждый поток обрабатывает конкретный префикс. Затем результаты помещаются в параллельный хэш-файл.

Неисправность возникает, когда потоки выполняют проверку. Запрос, который обычно занимает приблизительно 5600 мс, когда он выполняется последовательно, занимает от 40000 до 80000 мс, когда генерируется 6 нитей (соответствует 6 солям/регионам серверов).

Я попытался использовать HTablePools, чтобы обойти то, что, как я думал, было проблемой, когда HTable не был потокобезопасным, но это не приводило к повышению производительности.

, в частности, я заметил значительное замедляются, когда я ударил эту часть моего кода:

for(Result res : rowScanner){ 
//add Result To HashMap 

Через протоколирования я заметил, что каждый раз через условную петли я испытал задержки многих секунд. Эти задержки не возникают, если я принудительно запускаю потоки.

Я предполагаю, что существует некоторая проблема с блокировкой ресурсов, но я просто не вижу ее.

Answer 1

Убедитесь, что вы устанавливаете и Caching на объекты сканирования (объект, который используется для создания сканера). Они контролируют, сколько строк передается по сети одновременно, и сколько их хранятся в памяти для быстрого извлечения на самом сервере RegionServer. По умолчанию они слишком низки, чтобы быть эффективными. BatchSize, в частности, значительно увеличит вашу производительность.

EDIT: на основе комментариев звучит так, будто вы можете переключаться либо на сервере, либо на клиенте, либо на сервере RegionServer может не хватать места в блоке BlockCache для удовлетворения ваших сканеров. Сколько кучи вы предоставили RegionServer? Вы проверили, не происходит ли обмен данными? См. How to find out which processes are swapping in linux?.

Кроме того, вы можете уменьшить количество параллельных сканирований и сделать каждый сканер более строгим. Я обнаружил, что в моем кластере параллельное сканирование почти не улучшает последовательное сканирование, потому что я связан с сетью. Если вы максимизируете свою сеть, параллельное сканирование действительно ухудшит ситуацию.

Answer 2

Рассматривали ли вы использование MapReduce, возможно, только для того, чтобы легко разделить сканирование по регионам серверов? Это проще, чем беспокоиться о потоковой обработке и синхронизации в клиентских библиотеках HBase. Класс Result не является потокобезопасным. TableMapReduceUtil упрощает настройку рабочих мест.