Kafka Replication

Question

Мы работаем над проектом, где мы хотим использовать Kafka. На основе нашего обучения мы имеем несколько запросов:

ссылки URL: https://www.youtube.com/watch?v=BGhlHsFBhLE#t=40m53s

1. В нескольких узлах многократных брокеров архитектуры, может потребитель, считанный из в синхронизации повторителя?

2. Любые ссылки документации Kafka, которые дают нам возможность пройтись по такой архитектуре?

3. Кафка говорит, что «производители и потребители, как писать и читать ЛИДЕР реплики и последователь репликой является решением высокой доступности и не предназначены для чтения данных из» В этом случае, как же это же тему можно прочитать от нескольких брокеров? Любые ссылки на документацию/ссылки, которые могут помочь мне в достижении этой цели?

4. Если понятие «ЛИДЕР/ПОЛНОЕ» находится на уровне раздела, а темы находятся внутри раздела, то как можно читать тему из нескольких брокеров (поскольку репликация на других брокерах будет репликой FOLLOWER - от какие данные не могут быть прочитаны)?

Answer 1

1. No. Потребители всегда читают от лидеров.
2. Я думаю, что есть куча материала о Кафке - просто ищите в Интернете. Также посетите http://docs.confluent.io/3.0.1/
3. Тема состоит из одного или нескольких разделов, а разделы распределены по брокерам. (см. https://kafka.apache.org/documentation.html#intro_topics) Таким образом, для одной темы вы можете использовать (при макс.) то же количество брокеров - это разделы темы, чтобы читать/записывать дату в эту тему.
4. Это наоборот. Неверно, что «темы находятся внутри раздела»): тема содержит несколько разделов.

Кроме того, проверить этот блог о разделах и репликации в Кафке: http://www.confluent.io/blog/hands-free-kafka-replication-a-lesson-in-operational-simplicity/

Answer 2

Нет потребителей должны читать только от лидера раздела. Репликация предназначена только для отказоустойчивости.

Тема разделена на разделы. Разделение является базовой единицей репликации и распределения. Каждый раздел имеет свой собственный лидер для чтения и записи. Вы можете указать макет, как эти разделы должны быть распределены между брокерами.

Отъезд следующие короткие blog описание основных понятий.