MapReduce реализация в Scala

Question

Я хотел бы найти хорошую и надежную структуру MapReduce, которая будет использоваться из Scala.

Answer 1

Чтобы добавить ответ на Hadoop: есть как минимум две обертки Scala, которые делают работу с Hadoop более приятной.

Scala Карта Уменьшить (SMR): http://scala-blogs.org/2008/09/scalable-language-and-scalable.html

SHadoop: http://jonhnny-weslley.blogspot.com/2008/05/shadoop.html

UPD 5 октября 11

Существует также Scoobi рамки, которые имеют удивительную выразительность.

Answer 2

http://hadoop.apache.org/ не является агностиком.

Answer 3

Возможно, вас заинтересует scouchdb, интерфейс Scala для использования CouchDB.

Другой идеей является использование GridGain. ScalaDudes есть пример использования GridGain с Scala. И еще один пример: here.

Answer 4

Некоторое время назад я столкнулся с этой проблемой и в итоге написал небольшую инфраструктуру, чтобы упростить использование Hadoop от Scala. Некоторое время я использовал его самостоятельно, но я, наконец, нашел его в Интернете. Он назван (очень изначально) ScalaHadoop.

Answer 5

к точке дальнейшего jshen в:

Hadoop потокового просто использует сокеты. используя потоки unix, ваш код (любой язык) просто должен иметь возможность читать потоки с разделителями stdin и output tab. внедрить картограф и, если необходимо, редуктор (и, если необходимо, настроить его как объединитель).

Answer 6

Для scala API на верхней части hadoop проверьте Scoobi, он все еще находится в тяжелом развитии, но показывает много обещаний. Есть также некоторые попытки реализовать распределенные коллекции поверх хаопа в Scala incubator, но эти усилия еще не годятся к использованию.

Существует также новая оболочка scala для каскадирования из Twitter, называемая Scalding. После очень короткого обзора документации для Scalding кажется , что, хотя он делает интеграцию с каскадным гладкостью, он все еще делает не решить то, что я вижу в качестве основной проблемы с каскадом: тип безопасности. Каждая операция в каскадировании работает с кортежами каскадирования (в основном список значений полей с отдельной схемой или без нее), что означает, что ошибки типа , I.e. Присоединение ключа в виде строки и клавиши в виде длинного ведет к ошибкам во время выполнения.

Answer 7

Лично я стал большим поклонником Спарк

http://spark-project.org/

У вас есть возможность сделать в памяти кластерные вычисления, что значительно снижает накладные расходы вы бы испытать с диска ресурсоемких операций MapReduce.