Выполнение нескольких заданий хауопа параллельно в пряже

Question

Когда я пытаюсь запустить несколько заданий хаоопа в кластере EMR, все они запускаются один за другим (я вижу прогресс, используя список приложений пряжи).

1. Есть ли способ запустить все эти рабочие задания в параллельном режиме?
2. Пропустит несколько рабочих заданий на одном шаге, разрешив эту проблему? Если да, то как передать несколько заданий за один шаг?

Answer 1

Если вы используете HadoopActivity с планировщиком FAIR или планировщиком производительности, вы можете запускать несколько шагов параллельно.

https://aws.amazon.com/about-aws/whats-new/2015/06/run-parallel-hadoop-jobs-on-your-amazon-emr-cluster-using-aws-data-pipeline/