Итерация на org.apache.spark.sql.Row

Question

Я использую Spark shell (1.3.1), который является оболочкой Scala. Упрощенная ситуация, которая нуждается в итерацию на что-то вроде этого:

import org.apache.commons.lang.StringEscapeUtils 

var result = sqlContext.sql("....") 
var rows = result.collect() // Array[org.apache.spark.sql.Row] 
var row = rows(0) // org.apache.spark.sql.Row 
var line = row.map(cell => StringEscapeUtils.escapeCsv(cell)).mkString(",") 
// error: value map is not a member of org.apache.spark.sql.Row 
println(line) 

Моя проблема заключается в том, что не map и - насколько я знаю, - это не может быть преобразован в Array или List, поэтому я не могу избежать каждая ячейка использует этот стиль. Я мог бы написать цикл, используя индексную переменную, но это было бы неудобно. Я хотел бы перебирать на клетки в такой ситуации:

result.collect().map(row => row.map(cell => StringEscapeUtils.escapeCsv(cell)).mkString(",")).mkString("\n") 

(Это, как правило, не большие результаты, они могут поместиться в память клиента много раз.)

Есть ли способ для перебора на ячейках ? Есть ли какой-либо синтаксис для размещения цикла на основе индекса в месте row.map(...) в последнем фрагменте?

Answer 1

Вы можете использовать toSeq() на Row, который имеет карту. toSeq будет в том же порядке, что и строки