Лучший способ программирования для реализации Map Reduce

Question

У нас есть проблема, которая является идеальным примером применения технологии программирования MapReduce. Исходный код для этого написан на Python. Теперь у нас есть следующие возможности:

1. Используйте Hadoop и Java для реализации части MapReduce.
2. Используйте фарш и Python для реализации части MapReduce.
3. Используйте Hadoop и Python (Hadoop MapReduce Program in Python) для реализации части MapReduce.

Я не очень уверен, какой будет лучший вариант. Кто-нибудь может помочь?

Answer 1

Поскольку ваш исходный код находится в python, и не имеет большого значения, следует ли писать MR в python или Java, (3), наилучший вариант для вашего сценария. Вы также можете изучить библиотеки, такие как https://github.com/Yelp/mrjob, которые упрощают запись MR-заданий в python.