Hadoop в кластере Maui + Torque

Question

У меня есть кластер с Torque + Maui. Возможно ли установить Hadoop в одном кластере? Какие плюсы и минусы делают это, если это возможно?

Answer 1

Это может быть хорошим местом для начала:

http://hadoop.apache.org/docs/r0.18.3/hod.html

Я не работал с ним лично, но я слышал, что это активно не поддерживается.

Из-за того, что я видел, у Hadoop есть собственный планировщик, который ожидает, что будет запущен набор узлов Hadoop, где находится файловая система Hadoop. Обычно это постоянная среда, поэтому вы можете загрузить файловую систему один раз (большие данные) и назначить свое задание узлу, в котором содержится копия необходимых вам данных. Крутящий момент имеет тенденцию принимать любой набор свободных узлов из кластера, назначает их заданию, запускает задание, а затем очищает среду для следующего задания. Это противоречит дизайну Hadoop.

Я могу видеть, где было бы хорошо иметь среду, которая могла бы как полностью использовать системы, которые у вас уже есть, но управление в лучшем случае будет беспорядочным.