Spark read.json с именами файлов

Question

Мне нужно прочитать кучу файлов JSON из каталога HDFS. После завершения обработки Spark необходимо поместить файлы в другой каталог. Тем временем, может быть добавлено больше файлов, поэтому мне нужен список файлов, которые были прочитаны (и обработаны) Spark, так как я не хочу удалять те, которые были , а не, но обработаны.

Функция read.json преобразует файлы непосредственно в DataFrames, что очень круто, но это не дает мне имен файлов, таких как wholeTextFiles. Есть ли способ читать данные JSON, а также получать имена файлов? Существует ли преобразование из RDD (с данными JSON) в DataFrame?

Answer 1

С версии1.6 вы можете использовать input_file_name(), чтобы получить имя файла, в котором находится строка. Таким образом, получение имен всех файлов может быть выполнено с помощью отдельного на нем.