2015-05-24 2 views
0

Я работаю над проектом, который требует одновременного запуска нескольких заданий (по разным данным).hasoop mapreduce processing

У меня есть диаграмма со многими связанными компонентами, которые имеют огромные размеры. Я создаю новое задание для каждого подключенного компонента и отправляю его. Будут ли выполняться эти задания одновременно или они будут поставлены в очередь и выполняться в приоритете FIFO?

Конечно, я могу создать только одно задание и отправить каждый подключенный компонент для каждого картографа/редуктор, но это заставит программу работать медленно, как я делаю тяжелые вычисления на каждом компоненте связности (инверсия и т.д.)

ответ

0

Работа выполняется одновременно на основе доступности ресурсов в кластере, если нет зависимых заданий.

Когда было представлено больше заданий, которые связаны с комплексными вычислениями, только ресурс в кластере определяет, работает ли программа медленным или быстрым.

Смежные вопросы