Кафка FileNotFoundException с задачей Кафка-срубы удерживающей

После 23 дней подряд, я вижу это каждые пять минут:Кафка FileNotFoundException с задачей Кафка-срубы удерживающей

ERROR Uncaught exception in scheduled task 'kafka-log-retention' (kafka.utils.KafkaScheduler) java.io.FileNotFoundException: /tmp/kafka-logs/events-7/00000000000000000000.index (No such file or directory)

Мои настройки:

log.dirs=/tmp/kafka-logs 
num.partitions=1 
num.recovery.threads.per.data.dir=1 
log.retention.hours=168 
log.segment.bytes=1073741824 
log.retention.check.interval.ms=300000 
log.cleaner.enable=false

кажется довольно простой настроить. Сейчас система не видит большого объема.

Любая идея, почему я вижу эту ошибку?

источник

2016-02-22 Oggie

Вы что-то изменили в последнее время? Каково количество разделов темы 'events', это 8 или более? Потому что он говорит, что он не может открыть файл для номера раздела 7, и вы установили 'num.partitions = 1', что странно. Удаляли ли вы файлы журналов или сами темы? –

Ничего не изменилось. Кажется, это происходит каждые 20 дней или около того. Тема темы имеет 500 разделов. Сейчас мы используем 9 из этих разделов. Для этой темы журналы не удалены. – Oggie

Проверьте содержимое /etc/cron.daily/tmpwatch. На моей машине было указано, что файлы в /tmp старше 10 дней будут удалены. Решение было бы выбрать другой каталог для свойства конфигурации Kafka log.dirs. Не знаете, как вы поправились от потери данных, так как файлы были фактически удалены. К счастью, мой кластер был не для производства.

источник

2016-04-16 02:19:22 lepfhty

Это не существует в CentOS. Единственное, что у нас есть, это /etc/cron.daily/lograte. Он выполняет/usr/sbin/logrotate /etc/logrotate.conf, и единственными папками в этом файле conf являются/var/log/wtmp и/var/log/btmp – Oggie

Кафка FileNotFoundException с задачей Кафка-срубы удерживающей

ответ

Смежные вопросы