Как создать агрегацию списка значений после объединения элементов DataFrame?

Question

Вместо Математическая агрегирования с помощью соединим ключа и суммы, в среднем, не более, как:

df.join(dfCopy, df("key") === dfCopy("key"))).agg(sum(df("value"))) 

мне нужно сделать:

df.join(dfCopy, df("key") === dfCopy("key"))).agg(List(df("value"))) //Basically adding to a list all the values that match in a join 

Для reitirate, добавьте все соединяемых ценились в столбец «значение» в списке.

Каков наилучший способ сделать это с помощью DataFrame?

Answer 1

Рассмотрите возможность использования:

import org.apache.spark.sql.functions.collect_list 

df.join(dfCopy, df("key") == dfCopy("key")).agg(collect_list(df("value"))) 

См: http://spark.apache.org/docs/latest/api/scala/#org.apache.spark.sql.functions $

Примечание: collect_list доступен только по 1.6.0, и я считаю, что это ожидает, что вы используете в HiveContext, вместо SQLContext.