Apache Spark: получить элементы строки по имени

Question

В объекте DataFrame в Apache Spark (я использую интерфейс Scala), если я повторяю его объекты , есть ли способ извлечь значения по имени? Я могу видеть, как сделать некоторые действительно неудобный материал:

def foo(r: Row) = { 
    val ix = (0 until r.schema.length).map(i => r.schema(i).name -> i).toMap 
    val field1 = r.getString(ix("field1")) 
    val field2 = r.getLong(ix("field2")) 
    ... 
} 
dataframe.map(foo) 

Я полагаю, что там должен быть лучший способ - это довольно многословен, он требует создания этой дополнительной структуры, и это также необходимо знать типы явно, что если неверно, создаст исключение во время выполнения, а не ошибку времени компиляции.

Answer 1

Это не поддерживается в настоящее время в Scala API. Ближайший у вас есть this JIRA titled "Support converting DataFrames to typed RDDs"

Answer 2

Вы можете использовать "getAs" из org.apache.spark.sql.Row

r.getAs("field1") 
r.getAs("field2") 

Узнайте больше о getAs(java.lang.String fieldName)