Искра потоковый работает как «ф» и «ой»

Question

Я использую искру потокового

Мою программу непрерывно считывать потоки из папки Hadoop .The Проблемы в том случае, если скопировать в моей папку Hadoop (Hadoop фс -copyFromLocal) начинается искровое задание, но если я перехожу (hasoop fs -mv/hadoopsourcePath/*/destinationPath /), он не работает.

Это ограничение искрообразования?

У меня есть еще один вопрос, связанный с искрой потоковым: Can spark streaming pick specific files

Answer 1

Понял ..Это работает в искре 1.5 Но он выбирает только те файлы, временные метки которых равны текущий штамп времени.

Для примера

Temp Папка: Файл f.txt (метка времени t1: когда файл был создан)

Свеча ввода папки:/вход

, когда вы делаете мв (Hadoop фс - mv /temp/f.txt/input): Spark не выбирает

Но после перемещения, если вы измените отметку времени перемещенного файла, искра выберет.

https://github.com/apache/spark/blob/master/streaming/src/main/scala/org/apache/spark/streaming/dstream/FileInputDStream.scala

бы проверить исходный код искры.