a Редуктор на таблицу HBase

Question

В принципе, мне нужно направлять данные вправо. Каждый редуктор будет TableReducer.

У меня есть следующий файл

venodor1, user1, хххх = п venodor1, user1, хххх = п venodor2, пользователь2, хххх = п venodor2, пользователь2, хххх = п

Я нужно вставить, что в следующих таблицах HBase

Таблица Vendor1: [user1] => {данные: хххх = п} [пользователь2] => {данные: хххх = п}

Таблица vendor2: [user1] => {данные: хххх = п} [пользователь2] => {данные: хххх = п}

Формат [ROW_ID] => {[СЕМЬЯ]: [COLUMN] = [VALUE]}

• каждый поставщик имеет различный HBase таблицу
• строки необходимо перейти на другой HBase таблицы базы по значению в строке.

Есть ли способ сделать это? С каскадом? Есть ли другая работа вокруг этого?

Спасибо, Федерико

Answer 1

Я нашел способ ... Позволить обработку таблицы редуктора. Вместо использования TableReducer просто используйте редуктор. При настройке загружайте таблицы (таблицы должны быть свойствами) установите auto flush в false и установите размер буфера. Об очистке flushCommit() на всех таблицах. Выход редуктора должен быть NullWritable для ключа и значения (если вы не хотите что-то выводить). По уменьшению Просто сделайте table1.put tabe2.put и т. Д.

Реализация TableReducer это делает что-то вроде этого под капотом для одного стола.