Когда я вхожу в систему с моим менеджером Kafka (версия 0.8.2.0), я могу просмотреть самую последнюю информацию о смещении для каждой темы и раздела. Я хочу, чтобы иметь возможность получить последние смещения программным путем. Поэтому я последовал примеру https://cwiki.apache.org/confluence/display/KAFKA/Committing+and+fetching+consumer+offsets+in+Kafka, но в ответ я ничего не получил.Kafka Информация о смещениях недоступна
Также я прочитал на https://cwiki.apache.org/confluence/display/KAFKA/Kafka+data+structures+in+Zookeeper , что смещения информация должна быть сохранена в Zookeeper в/потребителях/[идентификатор_группа]/Смещение/[тема]/[PartitionID] -> длинная (смещение)
Поэтому я проверил мой Zookeeper (перечислено в Kafka Manager, в разделе Cluster Information), и я не вижу ничего под/потребителем (в основном пустой документ).
Может кто-нибудь, пожалуйста, помогите мне найти эту информацию? Что-то не так с моей конфигурацией Kafka, что последние смещения не хранятся под/потребителем? Но тогда, где менеджер Kafka получает эту информацию? Какой-то другой Zookeeper?
Я вижу тему __consumer_offsets, представленную в моем списке тем, но у нее нет данных (все смещения для всех разделов равны 0). В том же кластере существуют другие темы, содержащие данные, поэтому __consumer_offsets должен иметь что-то в нем - как я могу это проверить? Апи все еще не возвращает мне никакой информации. Кроме того, кто должен обновлять __consumer_offsets, может ли это быть проблемой конфигурации? – kk1957
Смещение потребителей может быть обновлено kafka, если enable.auto.commit \t = true. У __consumer_offsets будут данные, если у вас есть потребители, потребляющие данные, и вы должны уметь это видеть в журнале вашего потребителя. – Nautilus