Как использовать API-интерфейс Spark()?

Question

Я проверил определение API distinct() в documentation, он говорит

Возвращает новый набор данных, который содержит различные элементы исходного набора данных.

Но каково правило для разделения исходного набора данных?

Предположим, что мой набор данных содержит 100 строк, и моя программа будет обрабатывать его по строкам, если я использую отдельный(), чтобы разделить мой набор данных, скажем 300 задач, будет ли результат отличаться от разбиения 100 задач?

Answer 1

Distinct()

Вы не можете использовать distinct() разделить свой набор данных, он просто удаляет дубликаты, поэтому вы получите такое же количество или меньше элементов, как результат. Вы можете установить numTasks, чтобы изменить level of parallelism.

Ресурсы кластера могут быть недостаточно использованы, если количество параллельных задач, используемых на любом этапе вычисления, недостаточно велико.

Пример

набор данных ((1), (2), (2), (3)) становится ((1), (2), (3)).

Расщепление элементы

Чтобы разделить элемент, например, разделив строку в текстовом файле в слова, вы могли бы использовать flatMap.

Аналогично карте, но каждый элемент ввода может быть сопоставлен с 0 или более выходными элементами (поэтому func должен возвращать Seq, а не один элемент).

Посмотрите на word count example.