Невозможно передать данные Avro в HDFS с использованием Confluent Platform

Question

У меня есть система, которая передает данные Avro в несколько тем Kafka.
Я хочу передать эти данные в HDFS. Я столкнулся с конфлюэнтом, но не уверен, как я могу отправить данные в HDFS без запуска kafka-avro-console-producer.

шагов я выполнил:

1. У меня есть свой Кафка и Zookeeper работают, так что я только начал схему реестр сливающихся.

2. Я начал kafka-connect-hdfs после смены названия темы. Этот шаг также успешный. Он может подключаться к HDFS.

После этого я начал нажимать данные на Kafka, но сообщения не были перенесены в HDFS.

Пожалуйста, помогите. Я новичок в Confluent.

Answer 1

Вы можете избежать использования продюсера kafka-avro-console и использовать своего собственного производителя для отправки сообщений по темам, но мы настоятельно рекомендуем использовать Regy Schema Registry (https://github.com/confluentinc/schema-registry) для управления вашими схемами и использования Avro сериализатор, который связан с реестром Schema, чтобы сохранить данные Avro согласованными. Есть хорошая запись о том, почему это хорошая идея сделать here.

Если вы можете отправлять сообщения, созданные с помощью производителя kafka-avro-console, в HDFS, ваша проблема, скорее всего, в разъеме kafka-connect-hdfs не сможет десериализовать данные. Я предполагаю, что вы проходите через quickstart guide. Лучшие результаты получат от вас использование того же сериализатора с обеих сторон (в и из Kafka), если вы собираетесь писать Avro в HDFS. Как этот процесс работает, описан in this documentation.