Почему бы не позволить потребителям тянуть сообщения от последователей?

Question

Кажется, что Kafka позволяет потребителям тянуть сообщения от брокера leader (брокер, на котором работает раздел лидера). followers синхронизируется только с leader, и пользователи НЕ МОГУТ читать сообщения от followers.

Почему не позволяют потребителям также получать сообщения от followers?

Я думаю, что если потребитель может читать сообщения от followers, мы можем иметь балансировку нагрузки для чтения со всех серверов брокеров, а производительность всей системы должна быть лучше. Скажем, leader слишком занят, а пропускная способность leader становится узким местом. Если мы можем вытащить сообщения из followers, производительность должна быть лучше.

Answer 1

Нет лидирующего брокера в перегородках Kafka. Тема состоит из 1 или более разделов. У брокера Kafka есть несколько разделов, некоторые из которых являются лидерами, а некоторые из них являются репликами из разделов на других брокерах Kafka в кластере. Таким образом, каждый брокер имеет некоторые активные разделы, и поэтому один занятый раздел на одном брокере не оказывает столь большого негативного влияния на производительность остальных разделов на оставшихся брокерах.