Сделайте Kafka Сохранение темы темы Постоянный

Я пишу сообщения журнала в тему Кафки, и я хочу, чтобы эта тема была постоянной. Я видел в Kafka и Kafka Connect (_schemas, connect-configs, connect-status, connect-offsets и т. Д.), Что есть специальные темы, которые не удаляются временем хранения журнала. Как включить тему, которая будет похожа на эти другие специальные темы? Это соглашение об именах или некоторые другие свойства?Сделайте Kafka Сохранение темы темы Постоянный

Благодаря

источник

2016-09-27 user1077071

Эти специальные темы являются прессованными темами. Это означает, что они состоят из ключевых сообщений и сохраняют только последний список. Полная запись here. Вероятно, это то, что вы хотите для бесконечного времени удерживания в большинстве случаев.

источник

2016-09-27 23:24:17 dawsaw

Если вы хотите сохранить все темы навсегда, вы можете установить как и log.retention.bytes -1.

источник

2016-09-27 23:21:47 highlycaffeinated

Похоже, что до апреля 2015 года для этого было установлено «log.retention.hours» на «2147483647». Затем в [JIRA] (https://issues.apache.org/jira/browse/KAFKA-1990) добавлена функция -1. Однако JIRA явно не указала, какое значение интерпретируется как «сохранить навсегда». Я немного закопал код, и это действительно [-1] (https://github.com/apache/kafka/blob/0.11.0.2/core/src/main/scala/kafka/server/KafkaConfig.scala# L1165). Вы также можете установить -1 для [часов, минут или мс] (https://github.com/apache/kafka/blob/0.11.0.2/core/src/main/scala/kafka/server/KafkaConfig.scala#L1078 -L1090) –

Сделайте Kafka Сохранение темы темы Постоянный

ответ

Смежные вопросы