Spark: Преобразование типов в DataFrame

Question

У меня есть поле в dataframe, которое имеет тип string. Я использую режим перезаписи для сохранения в mysql. Строковое поле сохраняется в текстовом поле в mysql. Я хочу сохранить его как varchar (40).

df.write.mode("overwrite").jdbc(mysqlUrl,tableName,properties) 

Как я могу достичь того же?

А также можно применять индексы в dataframe?

Answer 1

использовать функцию трансляции для преобразования типов данных в кадре данных перед записью в базу данных.

df.selectExpr(cast(column name) as int) fromid).write.mode("overwrite").jdbc(mysqlUrl,tableName,properties) 

Индексы могут применяться с использованием оконных функций.