Hadoop context.write() размер буфера

Question

Я использую context.write() с помощью puts для записи в HBase из Mapper. В соответствии с этим mailing list, context.write() не скрывается сразу и ожидает, что буфер будет заполнен до того, как они будут установлены асинхронно на сервер.

Как установить размер буфера вывода Mapper. Намерение состоит в том, чтобы уменьшить вызовы RPC в таблице HBase, отрегулировав размер буфера.

Answer 1

HBase сторона клиента буфер может быть сконфигурирован с помощью параметра hbase.client.write.buffer

Помимо увеличения клиентской стороны буфера вы также можете посмотреть на этом reference для оптимизации операций записи в HBase.