Как мы можем достичь этого в Apache Kafka

Question

Мы хотим отправить транзакционные данные через Apacke Kafka, поскольку у нас есть две системы downstream, и до того, как мы покажем сообщение об успешности в пользовательском интерфейсе, мы хотим быть уверены, что данные будут успешно сохранены как в нисходящие системы.

Мы подталкиваем данные через производителя и читаем его на потребительском конце и можем сохранить его в нисходящих системах. Недопустимая ссылка - это то, как узнать, были ли данные успешно сохранены в системах с нисходящими потоками, чтобы мы могли показывать сообщение об успешности в пользовательском интерфейсе.

Есть ли способ, которым мы можем достичь этого через Кафку. Мы только начали использовать kafka и не уверены, подходит ли этот случай использования kafka или нет.

Answer 1

Если ваш производитель знает потребителей, он может наблюдать за совершенными потребительскими смещениями, чтобы узнать, какие записи были использованы. Производитель может сопоставить эти смещения с сообщениями, которые он сам написал.

Для получения дополнительной информации, как это сделать (путь выходит за рамки одного вопроса), просто пройдите код Kafka (это с открытым исходным кодом). В качестве отправной точки обратите внимание на bin/kafka-consumer-groups.sh, который является инструментом для отслеживания потребительских смещений.