Как развернуть искровую работу в кластере пряжи EMR у Дженкинса?

Question

У меня есть несколько искровых работ на кластере ЭМИ, используя пряжу, которая должна запускаться на регулярной основе и отправляться от Дженкинса. В настоящее время машина Jenkins будет передавать ssh в главный узел EMR, где копия кода готова в исполняемой папке. Я хотел бы иметь возможность клонировать мое репо в рабочее пространство jenkins и отправлять код из Jenkins для выполнения в кластере. Есть ли простой способ сделать это? Каков наилучший способ развернуть искру от Дженкинса?

Answer 1

Вы можете использовать этот rest api вызвать запросы HTTP от Jenkins Пуск/Стоп задания

Answer 2

Если у вас есть Python в Дженкинс, реализовать скрипт, используя Boto3 хороший, легкий, гибкий и мощный инструмент.

Вы можете управлять EMR (So Spark), создавая полный кластер или добавляя задания к существующему. Кроме того, используя ту же библиотеку, вы можете управлять всеми службами AWS.