Что делать, если вход редуктора слишком велик в Hadoop MapReduce

Question

Я хочу понять, что делать в этом случае.
Например, у меня есть 1 ТБ текстовых данных, и предположим, что 300 ГБ это слово «Привет».
После каждой операции с картой у меня будет набор пар ключ-значение < «Hello», 1>.

Но, как я уже сказал, это огромная коллекция, 300 ГБ, и, насколько я понимаю, редуктор получает все это и будет раздавлен.

Какое решение для этого?
Предположим, что объединитель мне не поможет (пример WordCount просто для простоты), и данные все равно будут слишком большими для редуктора.

Answer 1

Промежуточный (Mapper) выход хранится в локальной файловой системе узлов, выполняющих задачу mapper, и затем очищается. Обратите внимание, что этот вывод отображения не сохраняется в HDFS. Редуктор действительно получает все промежуточные пары ключ-значение для любого конкретного ключа (т. Е. Весь вывод 300 ГБ для ключа «Hello» будет обрабатываться той же задачей Reducer). Эти данные выводятся в память только тогда, когда это необходимо.

Надеюсь, это поможет.

Answer 2

Редуктор получает все эти данные, но эти данные фактически записываются на диск и записываются только в память при повторении итерации значений. Фактически, объект, возвращаемый этой итерацией, повторно используется для каждого значения: поля и другое состояние просто заменяются до того, как объект будет передан вам. Это означает, что вы должны явно скопировать объект значения, чтобы одновременно иметь все объекты значений в памяти.