Amazon EMR управляет моим искровым кластером

Question

У меня есть искровая установка на машинах Amazon EC2 с двумя рабочими машинами. Он считывает данные из cassandra, обрабатывает и записывает на сервер sql. Я слышал об Amazon EMR и читал об этом. Я хочу управляемую систему, в которой мои рабочие машины автоматически добавляются в мой кластер, если моя работа занимает больше времени и завершается, когда моя работа будет завершена.

Могу ли я достичь этого через Amazon EMR?

Answer 1

Требования:

1. Мои рабочие машины автоматически добавляются в мой кластер, если моя работа занимает больше времени.

2. Завершение работы, когда моя работа будет завершена.

№ 2, безусловно, возможно, если ваша работа запущена с этапов. Существует опция, которая автоматически завершает работу кластера после завершения последнего шага. В качестве альтернативы это также можно было бы сделать программно с помощью SDK.

№ 1 немного сложнее, но EMR имеет три класса узлов; мастер, ядро ​​и задача. Узлы задач могут быть добавлены после создания кластера. Триггер для этого, вероятно, придется выполнять программно или использовать другую услугу Amazon, например Lambda.