2017-01-04 3 views
2

Что такое лучший способ получить счет на искрах Dataframe?Какой лучший способ получить подсчет искры? Dataframe

1) Я попробовал подсчет, который добавит одно действие. но я не хочу добавлять дополнительные действия.

2) Я использовал аккумулятор на RDD, чтобы сделать это, чтобы преобразовать данные в RDD, и даже аккумулятор не является точным.

Мне интересно, что искра достаточно зрелая, и у нее нет другого пути. Я думаю, что должен быть какой-то способ получить счет, не влияя на производительность/время выполнения.

ответ

1

Я думаю, что нет другого выхода, кроме аккумулятора, без добавления действия. Для использования аккумулятора необходимо преобразовать в rdd.

Смежные вопросы