Отправить различные примеры Kafka Connect для разных тем Kafka

Question

Я попытался отправить информацию о экземпляре Kafka Connnect в распределенном режиме с одним рабочим по определенной теме, у меня есть имя темы в файле archive.properties, которое когда я запускаю экземпляр.

Но когда я отправляю пять или более экземпляров, я вижу, что сообщения объединяются во всех разделах.

«Решение» Я думал было сделать карту, чтобы сохранить связь между ID и по теме, но он не работал

Есть ли конкретные Кафка подключения реализации, чтобы сделать это?

Спасибо.

Answer 1

Во-первых, подробные сведения о том, как вы используете соединение и какой соединитель вы используете, будут очень полезными.

Некоторые разъемы поддерживают передачу данных по нескольким темам. Например, confluent-jdbc-sink отправит каждую таблицу в отдельную тему. Таким образом, это может быть ограничение используемого вами соединителя.

Также в зависимости от соединителя и вашего прецедента - нужно ли использовать более одного разъема. С разъемом JDBC вам нужен один коннектор для каждой базы данных, и он будет обрабатывать все таблицы. Если вы запустите два разъема в одной базе данных и в тех же таблицах, вы получите дубликаты.

Короче говоря, у вашего разъема есть полезная документация.

В следующем выпуске Apache Kafka мы добавляем Single Message Transformations. Одно из преобразований может изменить целевой объект на основе данных в событии - поэтому вы можете использовать преобразование для выполнения маршрутизации событий.