Spark java Функция карты выполняется дважды

Question

У меня над кодом как искровой драйвер, когда я выполняю свою программу, он работает правильно, сохраняя необходимые данные в виде паркетного файла.

 String indexFile = "index.txt"; 
     JavaRDD<String> indexData = sc.textFile(indexFile).cache(); 
     JavaRDD<String> jsonStringRDD = indexData.map(new Function<String, String>() { 
     @Override 
     public String call(String patientId) throws Exception { 
     return "json array as string" 
     } 
     }); 

//1. Read json string array into a Dataframe (execution 1) 
     DataFrame dataSchemaDF = sqlContext.read().json(jsonStringRDD); 
//2. Save dataframe as parquet file (execution 2) 
     dataSchemaDF.write().parquet("md.parquet"); 

Но я наблюдал мою функцию сопоставителя на РДУ indexData становится выполняется дважды. первым, когда я прочитал jsonStringRdd как DataFrame с использованием SQLContext Во-вторых, когда я пишу dataSchemaDF паркетной файл

Можете ли вы направить меня на этом, как избежать этого повторное выполнение? Есть ли другой лучший способ преобразования строки json в Dataframe?

Answer 1

Я считаю, что причиной является отсутствие схемы для считывателя JSON. При выполнении:

sqlContext.read().json(jsonStringRDD); 

Спарк должен вывести схему для вновь созданного DataFrame. Для этого он имеет сканирования входной RDD и этот шаг выполняется с нетерпением

Если вы хотите, чтобы избежать этого, вы должны создать StructType, который описывает форму JSON документов:

StructType schema; 
... 

и использовать его при вы создаете DataFrame:

DataFrame dataSchemaDF = sqlContext.read().schema(schema).json(jsonStringRDD);