мониторинг сообщений kafka для отображения фактических сообщений, опубликованных или потребляемых

Question

У меня есть kafka, установленный на моем локальном сервере, и через какое-то другое приложение, работающее на сервере, производители публикуют сообщения брокерам внутри моего сервера kafka, через zookeeper я могу легко увидеть здоровье моего kafka, который показывает все темы, созданные внутри моего kafka сервера a, смещения внутри тем и т. д. и т. д., так что только предмет zookeeper не может отображать сообщения, которые находятся внутри отдельных тем, поэтому кто-то рекомендовал kafka-manager tool, Я установил и запустил его, он отлично работал, он показал много информации с моего сервера kafka, но все же он не смог показать реальные сообщения, которые публикуются или потребляются соответствующими потребители внутри моего сервера kafka, так что мой вопрос в том, есть ли способ/инструмент/код, чтобы узнать сообщения, опубликованные или потребляемые, я имею в виду в дополнение к этому kafka-manager или у меня есть некоторые плагины внутри того же kafka-manager, чтобы он также покажите соответствующие сообщения. Спасибо заранее!

Answer 1

Брокер Kafka не может рассказать вам, сколько сообщений было использовано для данного потребителя по данной теме. Единственное, о чем знает брокер Kafka, это текущее смещение журнала потребителя и текущее максимальное смещение журнала. Однако он не может рассказать вам, сколько сообщений до текущего смещения, которое фактически получил потребитель, поскольку он не поддерживает счетчиков вокруг этого, а потребитель определяет свою собственную начальную позицию (а также возможность поиска в разных местах в журнале).

Вы можете получить оба этих номера, используя сценарий $KAFKA_HOME/bin/kafka-consumer-offset-checker.sh.