Как я могу проверить тип данных искрового столбца DataFrame программно?

Question

Я создал модульный тест в IntelliJ для функции, выполняющей литье типа. Так что в моем модульное тестирование, я хочу проверить, используя assert заявление следующим образом:

assert(testDF.select(col1).dataType == Integer) 

Так что, если приведенное выше утверждение утверждают удовлетворяет испытательная установка будет успех.

Может кто-нибудь помочь в этом?

Answer 1

Вы можете, например, использовать поиск по шаблону:

import org.apache.spark.sql.types.IntegerType 

assert(testDF.schema(col1).dataType match { 
    case IntegerType => true 
    case _ => false 
}) 

Если вы хотите, чтобы соответствовать еще свойства

import org.apache.spark.sql.types.StructField 

assert(testDF.schema(col1) match { 
    case StructField(_, IntegerType, nullable, _) => true 
    case _ => false 
})