org.apache.spark.sql.types.DataTypeException: Unsupported dataType: IntegerType

Question

Я новичок в Spark и Scala. Я застрял в этом исключении. Я пытаюсь добавить дополнительные поля, то есть StructField, в существующий StructType, полученный из Кадр данных для столбца с использованием Spark SQL и gettting ниже исключения.

фрагмент кода:

val dfStruct:StructType=parquetDf.select("columnname").schema 
dfStruct.add("newField","IntegerType",true) 

Исключение в потоке «главный»

org.apache.spark.sql.types.DataTypeException: Unsupported dataType: IntegerType. If you have a struct and a field name of it has any special characters, please use backticks (`) to quote that field name, e.g. `x+y`. Please note that backtick itself is not supported in a field name. 
    at org.apache.spark.sql.types.DataTypeParser$class.toDataType(DataTypeParser.scala:95) 
    at org.apache.spark.sql.types.DataTypeParser$$anon$1.toDataType(DataTypeParser.scala:107) 
    at org.apache.spark.sql.types.DataTypeParser$.parse(DataTypeParser.scala:111) 

Я вижу там некоторые открытые вопросы, работающие на JIRA, связанных с этим исключением, но не в состоянии многое понять. Я использую Спарк 1.5.1 версия

https://mail-archives.apache.org/mod_mbox/spark-issues/201508.mbox/%3CJIRA.12852533.1438855066000.143133.1440397426473@Atlassian.JIRA%3E

https://mail-archives.apache.org/mod_mbox/spark-issues/201508.mbox/%3CJIRA.12852533.1438855066000.143133.1440397426473@Atlassian.JIRA%3E

https://issues.apache.org/jira/browse/SPARK-9685

Answer 1

При использовании StructType.add со следующей подписью:

add(name: String, dataType: String, nullable: Boolean) 

dataType строка должна соответствовать либо .simpleString или .typeName , Для IntegerType это либо int:

import org.apache.spark.sql.types._ 

IntegerType.simpleString 
// String = int 

или integer:

IntegerType.typeName 
// String = integer 

так, что вам нужно что-то вроде этого:

val schema = StructType(Nil) 

schema.add("foo", "int", true) 
// org.apache.spark.sql.types.StructType = 
// StructType(StructField(foo,IntegerType,true)) 

или

schema.add("foo", "integer", true) 
// org.apache.spark.sql.types.StructType = 
// StructType(StructField(foo,IntegerType,true)) 

Если вы хотите передать IntegerType он должен быть DataType не String:

schema.add("foo", IntegerType, true)