Добавить новый столбец с его данными в существующий DataFrame с помощью

В scala у меня есть Список [String], который я хочу добавить в качестве нового столбца в существующий DataFrame.Добавить новый столбец с его данными в существующий DataFrame с помощью

Оригинал DF:

Name | Date 
======|=========== 
Rohan | 2007-12-21 
... | ... 
... | ...

Пусть требуется добавить новый столбец отдела

Прогнозный DF:

Name | Date  | Department 
=====|============|============ 
Rohan| 2007-12-21 | Comp 
... | ...  | ... 
... | ...  | ...

Как я могу сделать это в Scala?

источник

2016-10-03 Rohan Oswal

Есть ли какое-либо отношение между столбцами? Любые правила? – eliasah

Итак, вы хотите присоединиться к ним? Я не думаю, что вы просто хотите добавить некоторые случайные значения. – Reactormonk

Probaly вы хотите присоединиться к своему df по имени с другим df. – gasparms

Вы можете сделать это одним способом, как просто создать dataframe имени и listvalues и присоединиться как dataframe с колонкой именем

источник

2016-10-03 10:37:05

Это решило мою проблему

val newrows = dataset.rdd.zipWithIndex.map(_.swap) 
     .join(spark.sparkContext.parallelize(results).zipWithIndex.map(_.swap)) 
     .values 
     .map { case (row: Row, x: String) => Row.fromSeq(row.toSeq :+ x) }

Тем не менее нужны точные объяснения этого ,

источник

2016-10-03 13:09:27

Добавить новый столбец с его данными в существующий DataFrame с помощью

ответ

Смежные вопросы