параллельное выполнение задания mapreduce

Question

У меня есть вопрос. могу ли я выполнить два или более задания в hadoop одновременно с JobCntrol? У меня есть 2 задания, которые могут выполняться параллельно, а другие задания имеют зависимости от этих двух заданий? Как я могу это сделать с помощью JobControl? , когда я использую его, он выдает ошибку: java.lang.IllegalStateException: Работа в состоянии RUNNING вместо DEFINE

Answer 1

Там нет необходимости для JobControl, когда вы хотите, чтобы выполнить работу параллельно. Просто отправьте задания, используя JobClient.runJob() API. JobControl используется, когда существует простая DAG заданий.