Обработка точечного прерывания узлов задач в кластере EMS EMR

Question

Для моего проекта мы хотим создать кластер EMR с основными мастерами, основными узлами и узлами заданных задач. Поскольку все наши данные находятся в S3, мы хотим ограничить основные узлы до 1 и использовать узлы задач только для обработки.

Как узлы задачи являются пятнами, я заблокирован как обрабатывать точечные терминалы. Всякий раз, когда удаляются экземпляры пятен, я хочу создать вместо них узлы задачи по требованию.

Каков наилучший способ определения того, что узлы задач прекращаются? через API-интерфейс описанияCluster? или через уведомление о прекращении пятна?

Заранее спасибо.

Answer 1

Я предложу уведомление о прекращении спота - лучший вариант. Процесс рекультивации с добавлением двухминутного предупреждения, официально известного как Уведомление о прекращении экземпляра места. Ваше приложение может использовать это время, чтобы сохранить его состояние, загрузить финальные файлы журнала или удалить себя из балансировки эластичной нагрузки. Это изменение позволяет использовать больше типов приложений в зависимости от масштаба и низкой цены экземпляров Spot.

Этот блог действительно хорошо читается для вас.

https://aws.amazon.com/blogs/aws/new-ec2-spot-instance-termination-notices/