Kafka long polling

Question

Я смотрю на kafka, чтобы реализовать очередь сообщений с низкой задержкой, и я читал о длительном опросе потребителей. Тем не менее, нет примеров того, как на самом деле использовать длительный опрос или какие параметры вам нужно настроить для его включения. Как включить длительный опрос с помощью java api?

Answer 1

Вам не нужно включать его в расчете, так как это поведение по умолчанию для потребителя kafka. Что вам нужно установить в вашей конфигурации - fetch.wait.max.ms.

Два значения имеют важное значение для достижения того, что вы хотите:

• fetch.min.bytes: Брокер будет ждать этого объем данных для заполнения перед отправкой ответа на клиент-потребителя.
• fetch.wait.max.ms: Брокер будет ждать такого количества времени, прежде чем отправлять ответ клиенту-потребителю, если у него недостаточно данных для заполнения ответа (fetch.message.max.bytes)

Посмотрите дополнительные параметры конфигурации в Kafka Consumer Configs

Кафки списка пользователей рассылки является также хорошим вариантом для подобных вопросов.