Я пытаюсь прочитать несколько файлов .gz из файловой системы hadoop через искровой поток. Есть ли возможность сделать это? если да, то можете ли вы предоставить мне решениеКак обрабатывать несколько файлов .gz через искрообразование?
Файл процесса Spark Streaming на основе метки времени, то есть обрабатываются только те файлы, которые добавляются к определенному пути после начала искрового потока. Spark streaming не обрабатывает файлы, которые помещаются перед началом потокового контекста.
Простыми словами Потоковое воспроизведение живых данных не по старым.