Ищете способ вычисления частотного распределения кадра данных в искровой/scala

Question

Я хочу рассчитать частотное распределение (вернуть наиболее общий элемент в каждом столбце и количество раз, когда оно появилось) в кадре данных с использованием искры и scala. Я пробовал использовать библиотеку DataFrameStatFunctions, но после того, как я отфильтровал свою фреймворк только для столбцов с числовым типом, я не могу использовать любые функции из библиотеки. Лучший способ сделать это для создания UDF?

Answer 1

вы можете использовать val newDF = df.groupBy("columnName").count() newDF.show()

он покажет вам количество частот для уникальных записей.