Какой самый простой способ написать kafka из искрового потока

Question

Я хотел бы написать kafka из данных искрового потока. Я знаю, что могу использовать KafkaUtils, чтобы читать от kafka. Но KafkaUtils не предоставляет API для написания кафки.

Я проверил past question и sample code.

Является ли выше пример кода самым простым способом написать кафке? Если я принимаю такой способ, как выше, я должен создать много классов ...

Знаете ли вы более простой способ или библиотеку, чтобы помочь написать кафке?

Answer 1

Посмотрите here:

В основном это блог резюмировать свои возможности, которые написаны в разных вариациях в ссылке вы предоставили.

Если мы рассмотрим вашу задачу прямо вперед, мы можем сделать несколько предположений:

• Ваш вывод данных делится на несколько разделов, которые могут (и довольно часто) находятся на разных машинах
• Вы хотите отправить сообщения Кафки, используя стандартный Кафка Производитель API
• Вы не хотите, чтобы передавать данные между машинами до фактической отправки Кафки

Giv В этих предположениях ваш набор решений довольно ограничен: вам нужно создать нового производителя Kafka для каждого раздела и использовать его для отправки всех записей этого раздела, или вы можете обернуть эту логику каким-то образом Factory/Sink, но важная операция останется прежней: вы по-прежнему будете запрашивать объект-производитель для каждого раздела и использовать его для отправки записей разделов.

Я предлагаю вам продолжить с одним из примеров в предоставленной ссылке, код довольно короткий, и любая библиотека, которую вы найдете, скорее всего, сделает то же самое за кулисами.