Zookeeper Общий предел размера данных

Question

Я новичок в Zookeeper, пытаясь понять, подходит ли он для моего использования.

У меня есть 10 миллионов иерархических данных, которые я хочу сохранить в Zookeeper.

10M ключ-значение пара с размером ключа и значением будет 1 КБ каждый.

Таким образом, общий размер данных составляет приблизительно ~ 20 ГБ (10 М * 2 КБ) без репликации.

Я знаю, что ограничение размера данных zNodes составляет 1 МБ (что можно изменить).

Вопросы:

1. Будет Zookeeper способен поддерживать 20GB данных, без влияния на производительность.

2. Есть ли максимальный размер, после которого производительность ухудшается?

3. Есть ли ограничение на общее количество узлов?

Answer 1

Zookeeper никак не подходит для использования. Zookeeper периодически реплицирует/сбрасывает данные дерева данных, и это означает, что он будет сбрасывать все данные объемом 20 ГБ каждые несколько минут. Кроме того, узлы Zookeeper в кластере/ансамбле больше похожи на реплику друг друга, и, следовательно, целые данные реплицируются на каждый узел Zookeeper и, следовательно, не разделяют данные. Zookeeper не является базой данных.

Я думаю, что для вашего варианта использования будет намного лучше работать с какой-либо базой данных или с некоторым распределенным кешем (Redis/Hazelcast и т. Д.) В любом случае нет ограничений на общее количество узлов в Zookeeper.