Spark XML с использованием xpath для создания пары значений ключа

Question

Мне нужно извлечь данные из xml и объединить извлеченные данные с CSV-файлом (пример столбца: 2).

Я попытался ниже код:

val input = sc.wholeTextFiles("/user/hadoop/selva/Test.xml") 
val xmlVal = input.values 
val mapVal = xmlVal.map(x => scala.xml.XML.loadString(x)) 
val res = mapVal.map(x => (x \\ "ALERT" \\"property" \\"name")text) 
res.collect() 
Output : res3: Array[String] = Array(stackoverflowstackoverflowquery) 

Ожидаемый результат: мне нужно выше значение в виде пары ключей значение, чтобы присоединиться к данным (Спарк внутреннее соединение)

Key : stackoverflow value : 1
Key : stackoverflow value : 1
Key : query value : 1

. Итак, я могу использовать Spark join для объединения двух наборов данных.

Answer 1

EDIT: Поскольку mapVal состоит только из одного элемента, вы должны применить flatMap вместо map:

mapVal.flatMap(x=>(x\\"ALERT" \\"property" \\"name").map(y=>(y.text,1)))