Я создал тему в своем кластере kafka со следующей командой.Kafka: настройка по разделам или по темам?
/opt/kafka/bin/kafka-topics.sh --zookeeper kaf1:2181,kaf2:2181,kaf3:2181 --create --topic mytopic --partitions 10 --replication-factor 2 --config retention.bytes=1074000000 --config delete.retention.ms=6000 --config segment.bytes=105000000
Итак, если я правильно понимаю, в документации, у меня есть тема с 10 разделов повторить 2 раза Разногласия между моей Кафка хостами 3. Затем каждый хост kafka должен сохранить 1Go данных. Каждый сегмент имеет размер 100Mo, и все старые журналы будут удаляться через 1 минуту.
Теперь, когда я делаю du -h на моем каталоге журналов на Кафки хостов, у меня есть это:
1,2G ./mytopic-2 1,1G ./mytopic-8 1,2G ./mytopic-9 1,1G ./mytopic-6 1,1G ./mytopic-3 1,1G ./mytopic-0 1,2G ./mytopic-4 7,6G .
Я думал получить 1GO для каталога целиком, а не для каждого раздела.
Так что мой вопрос прост, конфигурация темы для каждого раздела или для всей темы?
Спасибо.
ИТАК тема конфигурации перегородкой и не по теме. Спасибо за Ваш ответ. У вас есть ссылка на документ (я не нашел его), где это объясняется? – Kiva
Существует раздел Конфигурация уровня (3.1 - Брокерские конфигурации), который содержит сопоставление параметров конфигурации инструмента консоли и свойств сервера. Например, параметр retention.bytes в консоли равен log.retention.bytes в конфигурации сервера, то есть количество данных, которое необходимо сохранить в журнале для каждого раздела темы. Пожалуйста, просмотрите более подробную информацию по ссылке: http: //kafka.apache.org/081/configuration.html –