Использование Kafka & Zookeeper, Идентификатор группы не извлекает Kafka с самого начала

Question

У нас есть kafka v2.10 и zookeeper v3.4, настроенные и работающие. Мы пишем высокопоставленных потребителей, потребляющих журнальные журналы от Kafka. Потребитель A запускает потребительские сообщения для темы T и идентификатора группы G1 (после примера высокого уровня потребителей, представленного в документации Apache Kafka). Затем, когда потребитель B запускается с той же темой T, но с идентификатором группы G2, он подключается к kafka/zookeeper, но потребляет log-msgs, начиная со смещения после последнего, используемого пользователем A.

Насколько я понимаю, это должны быть заданы протоколы журналов, начиная с самого низкого смещения, доступного в Kafka для этой темы. Любая идея, почему это не так?

Мы еще не копируем kafka или zookeeper. OUr, созданная на этом этапе, проста и прямолинейна, и мы пытаемся заставить их работать с базовыми функциями.

Любая помощь приветствуется.

Кроме того, вы знаете, где мы можем найти новые каталоги, которые якобы zookeeper создает каждый раз, когда потребитель с новым идентификатором группы устанавливает соединение с zookeeper (для отслеживания смещения для этого идентификатора группы)?

Answer 1

Вы можете попробовать добавить это к конфигурации при создании группы потребителей

props.put("auto.offset.reset", "smallest");