Spark DataFrame и переименование нескольких столбцов (Java)

Question

Есть ли лучший способ префикса или переименовать все или несколько столбцов одновременно с данным SparkSQL DataFrame, чем вызов нескольких раз dataFrame.withColumnRenamed()?

Примером может быть, если я хочу обнаружить изменения (используя полное внешнее соединение). Затем я остаюсь с двумя DataFrame с той же структурой.

Answer 1

Предлагаю использовать метод select() для этого. На самом деле методColumnRenamed() использует select() сам по себе. Вот пример того, как переименовать несколько столбцов:

import org.apache.spark.sql.functions._ 

val someDataframe: DataFrame = ... 

val initialColumnNames = Seq("a", "b", "c") 
val renamedColumns = initialColumnNames.map(name => col(name).as(s"renamed_$name")) 
someDataframe.select(renamedColumns : _*) 

Answer 2

Я heve только что нашел ответ

df1_r = df1.select(*(col(x).alias(x + '_df1') for x in df1.columns)) 

на stackoverflow here (см конец принятого ответа)

Answer 3

Хотя это не отвечает на вопрос, но я всегда обновляю имена столбцов один за другим. Поскольку он обновляет только метаданные DF, нет никакого вреда (не влияет на производительность) по обновлению имен столбцов один за другим, например .:

for c in DF.columns: 
    new_c = c.strip().replace(' ','_') 
    DF = DF.withColumnRenamed(c, new_c) 

Answer 4

or (a <- 0 to newsales.columns.length - 1) 
{ 
var new_c = newsales.columns(a).replace('(','_').replace(')',' ').trim 
newsales_var = newsales.withColumnRenamed(newsales.columns(a),new_c) 
}