Потребитель Kafka Не удалось найти лидера для метаданных Set and Fetching с идентификатором корреляции 4 для непонятых тем

Итак, я получаю эту ошибку с помощью одного брокера kafka 0.8.2.0 и пользователя java, работающего в мезо. Я должен сказать, что это работало, и AFAIK ничего не изменилось.Потребитель Kafka Не удалось найти лидера для метаданных Set and Fetching с идентификатором корреляции 4 для непонятых тем

Вот ошибка, когда потребитель работает в Mesos:

16/03/17 05:44:23 WARN ConsumerFetcherManager$LeaderFinderThread: [alertConsumer_secasprddb01-1-1458193432645-387abff0-leader-finder-thread], Failed to find leader for Set([events,1], [events,14], [events,2], [events,8], [events,7], [events,10], [events,3], [events,11], [events,5], [events,0], [events,12], [events,13], [events,6], [events,4], [events,9]) kafka.common.KafkaException: fetching topic metadata for topics [Set(events)] from broker [ArrayBuffer(id:0,host:prodMessage01-1.blah.com,port:9092)] failed at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:72) 
at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:93) 
at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:66) 
at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:60) Caused by: java.net.SocketTimeoutException

я даже дошел до того, как полностью удалить тему и воссоздавать его формы царапины и все та же ошибка.

Если я бегу kafka-console-consumer.sh сценария на том же поле, как брокера, я все еще получаю ошибку:

Failed to find leader for Set([events,1], [events,14], [events,2], [events,8], [events,7], [events,10], [events,3], [events,11], [events,5], [events,0], [events,12], [events,13], [events,6], [events,9], [events,4]) (kafka.consumer.ConsumerFetcherManager$LeaderFinderThread) kafka.common.KafkaException: fetching topic metadata for topics [Set(events)] from broker [ArrayBuffer(id:0,host:prodMessage01-1.blah.com,port:9092)] failed 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:72) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:93) 
    at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:66) 
    at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:60) Caused by: java.net.SocketTimeoutException

Таким образом, даже когда Everyting является локальным для брокера, его все еще не работает. Как это вообще возможно?

Я не вижу, как я могу пройти мимо этого, если я действительно удалил и воссоздал тему.

Если я тему описать (kafka-topics.sh - описать), он отлично работает: Topic:events PartitionCount:15 ReplicationFactor:1 Configs: Topic: events Partition: 0 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 1 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 2 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 3 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 4 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 5 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 6 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 7 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 8 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 9 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 10 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 11 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 12 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 13 Leader: 0 Replicas: 0 Isr: 0 Topic: events Partition: 14 Leader: 0 Replicas: 0 Isr: 0

источник

2016-03-17 Oggie

Вы уверены, что ZooKeeper запущен? И я полагаю, вы не используете рамки Kafka Mesos, не так ли? – Tobi

Да, зовпер работает. Мы не используем рамки кафки-мезоса. – Oggie

Хорошо. Есть ли причина, по которой вы решили не использовать фреймворк? – Tobi

См выше комментарии о том, как я решил проблему. Но это не желательно для производственной среды.

источник

2016-03-17 15:44:11 Oggie

Потребитель Kafka Не удалось найти лидера для метаданных Set and Fetching с идентификатором корреляции 4 для непонятых тем

ответ

Смежные вопросы