Имеет ли смысл иметь больше #replicas, чем #broker в kafka?

Я собираюсь использовать kafka как систему обмена сообщениями. Все еще не хватает следующих точек в моем сознании.Имеет ли смысл иметь больше #replicas, чем #broker в kafka?

Сколько брокер может иметь на одной машине?
Имеет ли смысл иметь больше #replicas (репликации разделов), чем #broker в kafka?
Можно ли добавить дополнительный сервер zookeeper (на другой машине) в шкалу без выключения/перезапуска текущей службы?

источник

2015-10-31 Hello lad

Вы могли иметь более одного брокера на каждую машину, но там, как правило, не любая хорошая причина, чтобы иметь больше чем один.

Я не могу придумать вескую причину, чтобы указать больше #replicas, чем #brokers.

Ваши серверы Zookeeper должны оптимально находиться на отдельных машинах и иметь нечетное число узлов. Существует компромисс между латентностью записи и отказоустойчивостью здесь. 3 Zookeepers являются обычными, когда латентность записи очень важна. 5 или даже 7 узлов могут использоваться для большей отказоустойчивости.

источник

2015-11-01 10:39:56 Lundahl

Чтобы добавить к (2): вы столкнетесь с проблемами, когда #replicas> #brokers, потому что Kafka всегда будет считать, что его разделы недостаточно реплицированы (по вашему предположению), что в основном заставляет Кафку подумать: «Есть серьезный риск потери данных, помогите мне исправить эту ситуацию! " (т. е. ваш кластер Kafka затем ввел эквивалент желтого состояния WARN). –

Имеет ли смысл иметь больше #replicas, чем #broker в kafka?

ответ

Смежные вопросы