Планировщик емкости в Amazon Elastic MapReduce

Question

Я совершенно новый для Amazon Elastic MapReduce. У меня есть потребность в том, что я хочу использовать свой собственный планировщик, который реализован на основе планировщика мощности Hadoop, чтобы запланировать мои задания в Amazon Elastic MapReduce.

В соответствии с моим нынешним пониманием, для достижения этого, я могу определить только один этап в потоке заданий и передать свой пользовательский файл jar через SSH-соединение к главному узлу. Однако я не могу найти, как редактировать файлы конфигурации xml, такие как capacity-scheduler.xml в главном узле. Кто-нибудь знает, как это сделать?

Кроме того, если я хочу добавить на него свойство динамического размера, могу ли я динамически настраивать количество узлов задачи в кластере, когда работа выполняется в настоящее время? Или на каждом этапе размер кластера должен оставаться прежним? Огромное спасибо.

Answer 1

Чтобы изменить конфигурацию Hadoop, вы должны использовать действие bootstrap.

На следующий документ AWS можно ссылаться на действие Hadoop configuratio bootstrap.
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html#PredefinedbootstrapActions_ConfigureHadoop

Эта статья в блоге, которую я добавил в закладки, также содержит некоторую информацию. http://sujee.net/tech/articles/hadoop/amazon-emr-beyond-basics/

Для динамического изменения размера кластера одним из вариантов является использование AWS SDK.
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/calling-emr-with-java-sdk.html

Используя следующий интерфейс, вы можете изменить количество экземпляров группы экземпляров. http://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/elasticmapreduce/AmazonElasticMapReduce.html