Kafka mirroring Не удалось найти лидера для Set (ArrayIndexOutOfBoundsException: 11)

Question

Я пытаюсь зеркалировать данные Кафки между двумя кластерами AWS Kafka/Zookeeper, обе версии 0.8.2.1.

я могу получить доступ кластера Zookeepers источника из целевого кластера Кафку экземпляров, список тем, и т.д. Однако при попытке запустить эту команду :

/opt/kafka/bin/kafka-run-class.sh kafka.tools.MirrorMaker 
            --consumer.config /opt/kafka/config/mirror-consumer.properties 
            --num.streams 1 
            --producer.config /opt/kafka/config/mirror-producer.properties 
            --whitelist=".*" 

Я получаю следующую ошибку :

WARN Fetching topic metadata with correlation id 0 for topics [...] from broker [...] failed (kafka.client.ClientUtils$) 
java.lang.ArrayIndexOutOfBoundsException: 11 
    at kafka.api.TopicMetadata$$anonfun$readFrom$1.apply$mcVI$sp(TopicMetadata.scala:38) 
    at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:78) 
    at kafka.api.TopicMetadata$.readFrom(TopicMetadata.scala:36) 

Что было бы лучшим способом отладить эту ошибку? Я читал несколько сообщений в Интернете, но они указывают на целый ряд причин, от сетевого подключения к проблемам дискового пространства. Буду признателен за вашу помощь в этом вопросе.

Answer 1

Видимо есть критическая ошибка в Кафке 0.8.2.1 версии, которая не была исправлена ​​с 2015 года: https://issues.apache.org/jira/browse/KAFKA-2082 «не удалось из-за лидер не локальной для раздела»

Похоже, что нет никакого способа, чтобы иметь дело с этим не достраивая Kafka до последней версии. Основываясь на других сообщениях, которые я нашел в Интернете, похоже, что зеркальное отображение Кафки не работает между различными версиями Kafka, так что это еще одно дело.