Как настроить Kafka, чтобы потребители и производители восстанавливались после сбоев при отключении репликации?

Question

У нас есть прецедент, где допустимость потери данных (думаю, приемлема 30-50%). Чтобы уменьшить затраты, мы хотим знать, можно ли настроить Kafka с коэффициентом репликации 1, чтобы потребители и производитель могли восстанавливаться после сбоев брокера, просто потребляя и производя от и до доступных разделов.

Если это возможно, каковы конфигурации, которые необходимо установить?

Существуют другие брокерские технологии, которые по своей природе ведут себя таким образом, однако мы хотели бы избежать внедрения другой технологии, поскольку кафка уже является частью нашей экосистемы.

Answer 1

Если вы создадите новую тему через bin/kafka-topics.sh, вам необходимо указать параметр --replication-factor; просто установите его на 1, чтобы отключить репликацию.

Для существующих тем вы можете изменить коэффициент репликации с помощью bin/kafka/topics.sh с использованием параметра --alter.

Для производителей и потребителей вам может потребоваться дополнительная обработка исключений. Например, если вы указываете выделенный раздел при записи записи, и брокер недоступен, вам может потребоваться сделать это (возможно, просто пропустите эту запись или что-то подходящее). Но нет конкретной конфигурации, которую вам нужно настроить для клиентов.