0
Я читаю данные от Kafka и погружается в HDFS. Есть ли способ, которым Flume может сжимать данные и хранить их в HDFS. (Данные не сжимаются в Кафки)Сжатие данных в Apache Flume
A
ответ
0
Попробуйте установить эти два параметра в раковине конфигурации:
hdfs.codeC= one of following -> gzip, bzip2, lzo, lzop, snappy hdfs.fileType=CompressedStream
Более подробная информация доступна в flume user guide
Смежные вопросы
- 1. Сложность установки Apache Flume
- 2. Преимущества Apache Flume
- 3. Apache Flume: kafka.consumer.ConsumerTimeoutException
- 4. Apache Flume застрял после exec flume-ng
- 5. Apache Flume POC issue
- 6. Apache Flume multiple agent
- 7. Apache Flume без hadoop
- 8. Скорость выборки Apache Flume
- 9. Apache Flume (twitter)
- 10. Apache Flume vs Apache Flink difference
- 11. Форматирование Apache Flume HDFS Serializer
- 12. Как измерить EPS Apache Flume?
- 13. Как распределить Apache Flume 1.4
- 14. Конфигурация раковины elasticsearch apache-flume
- 15. Apache Flume - некорректная временная метка
- 16. настроить SSL в Apache Flume JMS 1.6.0
- 17. Нужна помощь в файле конфигурации Apache Flume
- 18. Apache Flume with Flat Files Source
- 19. Получение ошибки при извлечении данных twitter с использованием Apache Flume
- 20. сжатие данных Http 1.1
- 21. Ingest bzip2 файлы с Apache Flume
- 22. сбора журнала logg4j с помощью Apache Flume
- 23. Есть ли собственный источник SQL в Apache Flume?
- 24. Flume Distribution
- 25. Flume конфигурации
- 26. Сжатие данных
- 27. Сжатие данных
- 28. Сжатие данных в Firebase
- 29. Сжатие данных в запросе
- 30. Сжатие данных в EXCEL