Чтение нескольких json-файлов из Spark

Question

У меня есть список json-файлов, которые я бы хотел загрузить параллельно.

Я не могу использовать файлы read.json("*"), потому что файлы не находятся в одной папке, и я не могу создать определенный шаблон.

Я пробовал sc.parallelize(fileList).select(hiveContext.read.json), но контекст hive, как и ожидалось, не существует в исполнителе.

Любые идеи?

Answer 1

Похоже, я нашел решение:

val text sc.textFile("file1,file2....") 
val df = sqlContext.read.json(text) 

Answer 2

Кроме того, вы можете указать каталог в качестве параметра:

cat 1.json 
{"x": 1.0, "y": 2.0} 
{"x": 1.5, "y": 1.0} 
sudo -u hdfs hdfs dfs -put 1.json /tmp/test 

cat 2.json 
{"x": 3.0, "y": 4.0} 
{"x": 1.8, "y": 7.0} 
sudo -u hdfs hdfs dfs -put 2.json /tmp/test 

sqlContext.read.json("/tmp/test").show() 
+---+---+ 
| x| y| 
+---+---+ 
|1.0|2.0| 
|1.5|1.0| 
|3.0|4.0| 
|1.8|7.0| 
+---+---+