Пользовательская агрегация на фреймах данных pyspark

Question

У меня есть файл данных PySpark с одним столбцом в виде одного горячего кодированного вектора. Я хочу агрегировать разные горячие кодированные векторы путем добавления векторов после группы

, например. df[userid,action] Row1: ["1234","[1,0,0]] Row2: ["1234", [0 1 0]]

Я хочу, чтобы выход как строка: ["1234", [ 1 1 0]] поэтому вектор представляет собой сумму всех векторов, сгруппированных по userid.

Как я могу это достичь? Операция суммирования сумм PySpark не поддерживает добавление вектора.

Answer 1

У вас есть несколько вариантов:

1. Создание определенного пользователя агрегатная функции. Проблема в том, что вам нужно будет write the user defined aggregate function in scala и wrap it to use in python.
2. Вы можете использовать функцию collect_list, чтобы собрать все значения в список, а затем написать UDF для их объединения.
3. Вы можете перейти на RDD и использовать агрегат или агрегат по ключу.

Оба варианта 2 & 3 будет относительно неэффективным (стоимость как процессора, так и памяти).