Hbase update use case

Question

У меня есть следующий случай использования hbase: Одна таблица Hbase, с ключом строки (построенная с использованием комбинации хешей md5) и двух семейств столбцов. Логически таблица хранит предложения. Стол содержит сотни миллионов записей.

У меня есть webapp, который подключается к этой таблице hbase и должен произвольно экспортировать предложения, основываясь на некоторых условиях. В настоящее время все эти условия можно искать только с помощью rowkey. Обычно один экспорт содержит всего пару сотен предложений. Важным ограничением является то, что, как только некоторые сегменты экспортируются, они не должны присутствовать при последующем экспорте.

Так что мой вопрос связан с этим - как я должен убедиться, что одни и те же сегменты не будут экспортироваться снова?

Должен ли я «отмечать» экспортированные сегменты, обновляя флаг, после каждого экспорта? У этого есть недостаток, который, когда мы смотрим, какие сегменты соответствуют моим условиям, я не смог бы использовать только rowkey для идентификации этих записей, но также и этот флаг. Следовательно, мне нужно будет использовать фильтры, которые, как я знаю, медленнее.

Есть ли лучший подход для этого?

Answer 1

Кто передает ключ строки для вас? Можете ли вы убедиться, что он отправляет уникальные клавиши строк?

Если вам не нужны данные после экспорта. почему бы вообще не удалить это предложение из таблицы hbase?

Если ваш ответ «нет» для обоих вышеперечисленных вопросов, тогда нет способа сохранить флаг в вашей таблице.

Спасибо.