Кафка Consumer v.10

Question

Были некоторые недостатки использования SimpleConsumer в предыдущих версиях Кафки 0.8

1. Вы должны следить за смещениями в вашем приложении, чтобы знать, где вы остановились потребления.
2. Вы должны выяснить, какой брокер является ведущим брокер по теме и раздела
3. Вы должны обращаться с лидером Посредника изменения

В последней версии Кафки мы имеем единую Потребитель, который опрашивает для получения сообщений. Как следует отслеживать и обрабатывать изменения брокера/лидера?

Answer 1

В новой версии для управления потребительскими смещениями у нас есть тема по умолчанию, которая называется "__consumer_offsets", вместо того, чтобы полагаться на zookeeper или вручную управлять ею, как в версии 0.8.

Изменения руководства брокера по-прежнему обрабатываются через зоопарк. Помните, что даже в текущей версии Kafka действительно нуждается в zookeeper для работы. Это изменилась только зависимость от потребительского смещения. Итак, zookeeper отслеживает выборы брокера/лидера.

Кроме того, как потребитель, вам действительно не нужно беспокоиться о изменениях лидера брокера. Если вы используете клиента с API высокого уровня для потребителя, вам нужно указать только идентификатор группы потребителей, тему для потребления и список брокеров (несколько серверов для идентификации кластера, тема может даже не существовать там)