Hadoop для супер O (N) или O (N log N) алгоритмов?

Question

Есть ли документированный случай Hadoop для любого алгоритма, который более чем приблизительно линейный? Или огромные наборы данных в значительной степени означают, что что-либо выше линейного неприемлемо?

Я пытаюсь найти алгоритмы, которые работают на Hadoop, что для более сложных вещей, чем просто сортировка/агрегирование.

Спасибо!

Answer 1

Вы имели в виду Apache Mahout Project? Они реализуют алгоритмы машинного обучения с использованием Hadoop (большинство алгоритмов все равно).

Алгоритмы, над которыми они работают, указаны в их вики here.

Answer 2

Ниже приведен обзор ~ 50 работ, описывающих алгоритмы с MapReduce (Hadoop): http://atbrox.com/2010/02/12/mapreduce-hadoop-algorithms-in-academic-papers-updated/ Некоторые из алгоритмов распределены по статистике там время работы O (N^2)