Кафка и гетерогенные Сообщения

Question

Я делал некоторые исследования о Кафки и Avro, и у меня есть вопрос о том, как обрабатывать разнородные сообщения с Кафки.

Предположим, у нас есть две схемы Avro: EmailSent и UserLoggedIn. Каким образом лучше всего использовать Кафку?

1. Создание темы для каждой схемы? Но это звучит как плохая идея, если у нас есть намного больше схем ...
2. магазин имя схемы (или идентификатор, как email_sent или user_logged_in) в ключевом в KeyedMessage и пусть каждый потребительский фильтр по ключ? Но каждый потребитель будет потреблять все события, и это может быть над головой ...
3. Что-то еще :)

Я надеюсь, что мой quesion ясно. Заранее спасибо за вашу помощь!

Cheers,

Радиум.

Answer 1

1st Approach: Я думаю, это можно сделать в отдельной теме. Вы можете выделить эти два набора данных схемы на основе раздела в вашей теме. Предположим, вы создали 4 раздела в своей теме. Напишите email_sent в 1 и 2. Напишите user_logged_in в 3 и 4.
Одна группа потребителей будет подписаться на 1 и 2. 2-я группа потребителей будет подписана на 3 и 4. В этом случае ненужного ввода-вывода не будет.
2nd Approach: Создайте две отдельные темы.