Как отправить сжатые данные в Azure Stream Analytics?

Question

У меня есть система сбора данных с устройства и отправки данных в формате JSON в Azure Eventhub. Существует поток аналитики потока Azure, который берет данные из eventhub и выводит его в PowerBI. Он отправляет данные каждую секунду. Иногда Интернет-соединение теряется, и система продолжает собирать данные с устройства. Когда происходит подключение к Интернету, он отправляет все собранные данные в eventhub. Я бы хотел, чтобы это было zip или сжатие данных перед отправкой.

Но аналитические форматы ввода Stream - это только JSON, CVS или Avro. Сжат ли Json автоматически без сжатия? Или мы не можем отправить сжатые данные в аналитику Azure stream?

Answer 1

Azure Stream Analytics не поддерживает удаление сжатых входных данных.

Спасибо, Kati Iceva

Answer 2

Avro является хорошим способом для сжатия данных (JSON), когда вы должны отправить кучу строк.

С уважением,

Filip

Answer 3

Avro является сжимаются ... своего рода. Полезная нагрузка сжимается с помощью Deflate. Однако схема сообщений включена в несжатую форму. В некоторых случаях схема для одного события может быть больше полезной нагрузки. Чем больше событий того же типа, что вы отправляете с каждым сообщением, тем больше пользы вы увидите от Avro.

Если вы отправляете очень небольшое количество событий и занимаетесь размером полезной нагрузки, вы можете лучше всего скопировать собственное сжатие и использовать что-то вроде Azure Function или WebJob, чтобы вытащить из «сырого» Event Hub, распаковать затем отправьте в «распакованный» Event Hub, который может прослушивать Stream Analytics.