Разъем Kafka для хранения Azure Blob

Question

Мне нужно сохранить сообщения, которые были отправлены в Kafka в глубоком хранилище. Мы используем облачные сервисы Azure, поэтому я полагаю, что хранилище Azure Blob может быть лучшим вариантом. Я хочу использовать API-интерфейс соединителя Kafka Connect для передачи данных в Azure Blob. Документация Kafka в основном предлагает HDFS для экспорта данных, однако в этом случае мне нужна виртуальная машина Linux под управлением Hadoop, которая будет дорогостоящей, я думаю. Мой вопрос заключается в том, что хранилище Azure Blob является подходящим выбором для хранения объектов JSON, а создание пользовательского разъема для подключения приемника является разумным решением для этого случая?

Answer 1

Пользовательский соединительный разъем определенно работает. Kafka Connect был абсолютно разработан, чтобы вы могли подключать плагины. На самом деле разработка коннекторов полностью интегрирована. Конфлюдентные соединители JDBC и HDFS были реализованы сначала просто из-за популярности этих двух вариантов использования, но есть еще много (мы сохраняем список разъемов, о которых мы знаем here.

Что касается хранения данных Azure blob Соответственно, вы указываете объекты JSON. Я думаю, что единственное, что вы захотите рассмотреть, - это размер объектов и будет ли размер хранилища Azure размером &. Я не уверен в характеристиках хранилища Azure, но во многих другие системы хранения объектов, которые могут потребоваться для объединения многих объектов в один блок, чтобы получить хорошую производительность для большого количества объектов (например, вам может понадобиться формат файла, который поддерживает многие объекты JSON).