Elasticsearch: Каков эффект отключения репликации и балансировки

Question

Если у меня есть ES-кластер и данные индексации приложений в ES.

EDIT: Приложение создает индексы динамическим способом, основанным на некоторых бизнес-правилах.

Например, если приложение прослушивает твиты из API Twitter, основанные на некоторых хэштегах, он создает индекс в ES для каждого хэштега. Таким образом, каждый раз, когда появляется новый хэштег, в ES создается новый индекс.

Иногда происходит перераспределение осколков, и на данном этапе кластер ведет себя плохо, поскольку количество данных, перемещаемых между узлами, огромно.

Из API ES-кластера мы можем отключить перераспределение и балансировку осколков.

Какими будут последствия (положительные и отрицательные) для отключения перераспределения и балансировки?

Answer 1

Это звучит как совершенно неортодоксальный способ организации документов в Elasticsearch, было бы проще иметь поле not_analyzed, которое было бы массивом hashtabs (поскольку один твит может иметь ноль, два или более хэштега).

Если у вас есть только один хэштег/твит, вы можете использовать его для routing их конкретному осколку, если функция поиска является для вас проблемой.

В любом случае, если вы отключите балансировку осколков, тогда на некоторых машинах будет много диспропорционального количества документов на некоторых машинах и слишком мало на других, это может помешать индексированию и поиску производительности.

Также, если у вас нет реплик осколков, тогда в случае выключения узла часть данных станет недоступной. Я уверен, что в конечном итоге есть и другие недостатки.