Эффективная группировка по ключевым разделам «внутри»

Question

Я пытаюсь приспособить процесс к искрам. В основном, процесс анализирует партии данных из источника данных JDBC , каждая запись имеет BatchId, а также более высокий уровень groupId.

• Количество партий большое (неизвестно заранее).

• Число групп ~ 100.

• Количество записей для каждой партии может поместиться в ОЗУ.

Фактический код анализа не имеет значения, но это не соответствует более конкретных моделей reduceByKey или combineByKey

Моя идея была:

• использование jdbcRdd прочитать данных, используйте «идентификатор группы» для разбиения на разделы

• группа использования bybatchId для подготовки данных

• использовать карту для применения бизнес-логики.

горлышко бутылки, как представляется, groupByKey, что из моего понимания заставит перетасовать (запись данных на диск) - даже если каждая партия содержатся в одном разделе.

Другой возможный подход заключается в использовании batchId для разделения, но это создаст очень большое количество разделов - и для этого большое количество запросов

Есть ли способ выполнить группу по ключу в пределах раздела? Любой другой возможный подход?

Answer 1

Да, вам необходимо использовать mapPartitions. Вы получаете доступ к Iterator по всем записям в разделе. Вы просто пишете код Scala и можете делать то, что вам нравится, включая создание карты идентификатора партии для записей. Это должно соответствовать памяти, разуму, но вы всегда можете уменьшить размер раздела, если это имеет значение.