Операция объединения с использованием Hadoop MapReduce

Question

Как сделать объединение двух наборов записей, используя Map Reduce? Большинство решений, в том числе опубликованных на SO, предлагают мне испускать записи на основе общего ключа, а в редукторе добавить их, чтобы сказать HashMap, а затем взять крест продукта. (например, Join of two datasets in Mapreduce/Hadoop)

Это решение очень хорошее и работает для большинства случаев, но в моем случае моя проблема совсем другая. Я имею дело с данными, у которых есть миллиарды записей, и перекрестное произведение двух наборов невозможно, потому что во многих случаях хэш-карта будет иметь несколько миллионов объектов. Поэтому я столкнулся с ошибкой пространства кучи.

Мне нужно гораздо более эффективное решение. Весь смысл MR заключается в том, чтобы иметь дело с очень большим количеством данных, которые я хочу знать, если есть какое-либо решение, которое может помочь мне избежать этой проблемы.

Answer 1

Не знаю, является ли это по-прежнему актуальным для всех, но я сталкиваюсь с аналогичной проблемой в эти дни. Я намерен использовать хранилище с ключом, скорее всего, Cassandra, и использовать его для перекрестного продукта. Это означает:

При работе на линии типа A найдите ключ в Кассандре. Если существует - слияние A записывается в существующее значение (элементы B). Если нет - создайте ключ и добавьте A как значение.

При работе на линии типа B найдите ключ в Кассандре. Если существует - объединить записи B в существующее значение (элементы A). Если нет - создайте ключ и добавьте B-элементы в качестве значения.

Для этого потребуется дополнительный сервер для Cassandra и, возможно, некоторое дисковое пространство, но поскольку я работаю в облаке (система bdutil Hadoop от Google), не думайте, что это должно быть большой проблемой.

Answer 2

Вы должны изучить, как свиньи объединяются. Идея заключается в том, что если ваши данные содержат слишком много значений с одним и тем же ключом (даже если нет перекос данных), вы можете создавать искусственные ключи и распространять распределение ключей. Это позволит убедиться, что каждый редуктор получает меньше записей, чем в противном случае. Напр. если вы должны суффикс «1» до 50% от вашего ключа «K1» и «2», остальные 50% вы закончите с половиной записей на редукторе 1 (1K1), а другая половина будет равна 2K2.

Если распределение ключей не известно заранее, вы можете использовать какой-либо алгоритм выборки.