Лучший способ автоматизации процесса, запускаемого из командной строки (через AWS)

Question

Я работаю над веб-приложением, чтобы предоставить программное обеспечение как веб-сервис с использованием AWS, но я застрял на реализации.

Я буду использовать систему управления контентом (возможно, Joomla) для управления входами пользователей и передними задачами, такими как получение файлов в качестве входных данных. Программа, которая предоставляет услугу, должна запускаться из командной строки. Однако я не уверен, что лучший способ автоматизировать этот процесс (запуск программы после получения входного файла). Это интенсивная программа, которая будет занимать не менее часа для каждой программы и должна запускаться последовательно, если в каждый момент времени имеется более одного ввода, поэтому должна быть очередь, в которой каждый элемент в очереди записывает путь к файлу входного файла, путь к файлу выходной папки и, в идеале, адрес электронной почты для отправки уведомления, когда работа выполнена.

Я изучил Amazon Data Pipeline и AWS Simple Workflow Service, а также службы простой очереди и простые службы уведомлений, но я до сих пор не знаю, как именно они могут быть использованы для запуска процесса, начиная с загружаемый файл ввода.

Любая помощь была бы принята с благодарностью!

Answer 1

Существует несколько способов архитектования этого типа процесса; здесь один подход, что будет работать:

1. На загрузках, загрузите файл в ведро S3, так что он может получить доступ к любому экземпляру позже.

2. В процессе загрузки отправьте сообщение в очередь SQS, в которую входит ведро/ключ загруженного файла, и электронное письмо пользователя, загрузившего его.

3. Либо с Lambda, либо с процессом cron на специально созданном экземпляре (-ах), проверьте очередь SQS и обработайте каждый запрос.

4. На этапе обработки добавьте уведомление по электронной почте пользователю, когда процесс будет завершен.

Answer 2

Вы можете абсолютно использовать конвейер данных для автоматизации этого процесса.

Посмотрите на управляемые предварительные условия и следующие образцы.

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-concepts-preconditions.html https://github.com/awslabs/data-pipeline-samples/tree/master/samples