Лидер Kafka не найден для темы и раздела

Question

У меня возникла проблема, некоторые разделы для нескольких тем в кластере Kafka не имеют лидерства и даже не реплики в наборе isr (in-sync replica).

Это произошло для всех разделов конкретного идентификатора брокера - 5.

topic: topic1 partition: 2  leader: -1 replicas: 5 isr: 
topic: topic1 partition: 8  leader: -1 replicas: 5 isr: 
topic: topic1 partition: 14 leader: -1 replicas: 5 isr: 
topic: topic2 partition: 1  leader: -1 replicas: 5 isr: 
topic: topic2 partition: 8  leader: -1 replicas: 5 isr: 
topic: topic2 partition: 15 leader: -1 replicas: 5 isr: 
topic: topic3 partition: 1  leader: -1 replicas: 5 isr: 
topic: topic3 partition: 8  leader: -1 replicas: 5 isr: 
topic: topic3 partition: 15 leader: -1 replicas: 5 isr: 

Я попытался средства репликации вручную назначить брокера этих разделов, но это не помогло. Поскольку ни один из них не установлен в isr.

К сожалению, коэффициент репликации для этих тем был 1. Но для тем, где коэффициент репликации был выше, проблема сохраняется. Там лидер назначен на следующую предпочтительную реплику, но реплика на коррумпированном брокере не перемещается в isr, установленном даже после долгого времени (дни), а разделы имеют журналы порядка 100.

topic: topic4 partition: 1 leader: 6 replicas: 5,6 isr: 6 

Для того же темы, раздел, в котором лидер не был посредничать 5 (испорченный брокера) там брокер 5 еще в наборе ISR.

topic: topic4 partition: 0 leader: 4 replicas: 4,5 isr: 4,5 

Еще одно наблюдение, развращенное брокер тему журнала создания в его INFO журналы, напечатанный очень часто, каждую минуту

[2014-12-09 13:07:27,878] INFO Topic creation { "partitions":{ "0":[ 4, 3 ], "1":[ 5, 4 ] }, "version":1 } (kafka.admin.AdminUtils$) 

Хотя нет никаких новых тем, созданных на получение кластера.

Неужели кто-нибудь сталкивался с подобной проблемой? Как я могу это исправить?

Кафка версия 0.8.1

Answer 1

Restart контроллер брокера, то все будет в порядке.