kafka Consumer Upgrade to .9

Question

Привет Я работаю над обновлением kafka до .9, а также модернизирует потребитель kafka до нового пользователя java, выпущенного с помощью .9. Во время обновления я использую существующие темы, Шаги просто останавливают .8 kafka и Запуск .9 kafka, указывающий на тот же log.dirs. У потребителя я использую то же имя группы и имя темы, Но новый потребитель снова потребляет сообщения из начальной позиции в теме. Я совершил их в .8. Я добавляю auto.offset.reset = самое раннее.

Любая идея, почему это происходит, или мы должны сначала потреблять все сообщения с .8 потребителем и пусть отставание станет 0. Благодаря Солнечный

Answer 1

В то время как 0,8 потребители хранят Смещения в Zookeeper, 0,9 потребители магазин их в определенной теме Кафки. Следовательно, потребитель 0,9 обычно не видит каких-либо смещений, хранящихся потребителем 0,8 и, как таковые, начнет потреблять с самого начала. Существует FAQ, который может помочь в переносе смещений. Цитируйте:

1) Обновите своих брокеров и установите dual.commit.enabled = false и offsets.storage = zookeeper (Commit смещает только Zookeeper).

2) Установите dual.commit.enabled = true и offsets.storage = kafka и перезапустите (Commit смещает Zookeeper и Kafka).

3) Установите dual.commit.enabled = false и offsets.storage = kafka и перезапустите (Commit смещает только Kafka).

(не пробовал это, просто цитирую.)