Как проверить, сколько дискового пространства используется Kafka

Question

Мое дисковое пространство заканчивается после синхронизации 2-миллионного сообщения в одной из моих тем Кафки. Я даже удалил тему, но все же пространство как-то кажется потребленным. Любая помощь ссылки будет оценена по достоинству.

Answer 1

Используйте следующую команду, чтобы узнать, сколько дискового пространства, потребляемый каждой теме

du -sh /tmp/kafka-logs/* 

Answer 2

От server.properties

#A разделенных запятыми список каталогов, в соответствии с которым для хранения файлов

войти log.dirs =/tmp/kafka-logs

du будет работать, но не забудьте проверить все журналы. Фактически, любая нормальная команда unix, которую вы хотите проверить на диске, будет работать.

Удаление темы не гарантирует удаление. Он будет помещен в состояние «для удаления». Если у вас есть какой-либо производитель/потребитель, все еще прикрепленный к теме, он не будет удален. Попробуйте следующее:

1. Убедитесь, что все брокеры, которые имеют тему реплики работают
2. Убедитесь, что позволяет удалить тему delete.topic.enable = истинное
3. Проверь, если тема была удалена бен/kafka- themes.sh --list --zookeeper zookeeper_host: 2181

Answer 3

Другой способ определить размер темы для отправки показателей, таких как графит. Тогда размер можно найти следующим образом: kafka.log.Log.<topic_name>-<partition_number>-Size.value

Answer 4

• Для удаления сообщений из темы Вы сначала установить время хранения до, например, 1000мс. Это очистит все сообщения за 1 секунду. (См ответа: The correct config key is retention.ms)
• Удалить тему
• Общих продумывать время удержания для всех тем, как значение по умолчанию составляет 7 дней, что может быть довольно много, при работе с высоким frequecies.