Рекомендация для пакетной обработки на aws

Question

Я новичок в использовании AWS, поэтому любые указатели будут оценены. Мне нужно обрабатывать большие файлы, используя наше собственное программное обеспечение.

Он принимает около 2 ГБ ввода и генерирует 5 ГБ выхода, работая в течение 2 часов на c3.8xбольше.

На данный момент я делаю это вручную, запускаю экземпляр (по запросу или по запросу), но теперь я хочу надежно автоматизировать и масштабировать эту обработку - какие хорошие рамки или платформы или услуги амазонки для этого? Особенно в отношении возможности того, что место-экземпляр будет завершено на полпути (и мне нужно будет обнаружить это и перезапустить задание).

Я слышал о сельдерей Python, но хорошо ли он работает с амазонами и точками? Или есть другие рекомендуемые механизмы?

Спасибо!

Answer 1

Это несколько мнение на основе, но вы можете смешивать и сочетать некоторые из частей АМС, чтобы сделать это проще:

• поставить входные данные на S3
• принудительную запись в очередь SQS с указанием работа должна быть обработана с длинным таймаутом видимости
• настроил autoscaling policy based on SQS с описанием вашего устройства в CloudFormation.
• UserData/cloudinit Чтобы настроить машину и запустить приложение
• напишите код, чтобы получить запись в очередь, начать обработку, завершить обработку, а затем удалить сообщение SQS.
• код должен проверить другую запись в очереди. Если нет, код должен прервать работу машины.