Callback для множественного завершения выполнения AWS Lambda

Question

Вот моя проблема:

Я должен сравнить объект кандидата с некоторыми критериями, с миллионами других кандидатов в дб. Поскольку лямбда позволяет выполнять только 5 минут, поэтому он вызывает таймаут.

Мое решение:

Я планировал сделать это сравнение с 10000 кусков кандидатов, так что я должен назвать 10 лямбда-функции (через SNS), чтобы обработать 100,000 кандидатов, а затем сохранить результаты каждого лямбда в некоторые таблицы DynamoDB. Но как получить обратный вызов, когда все лямбда-функции выполняются, чтобы я мог собирать эти результаты для отдельных лямбда, а затем вычислять окончательные результаты. Как достичь этого или есть лучший способ достичь моей цели. Любая помощь очень ценится.

Answer 1

Я не уверен, что AWS Lambda действительно подходит для вашего случая использования. Однако, просто сосредоточив внимание на основной части вашего вопроса, вы можете использовать DynamoDB Atomic Counters, чтобы определить, когда вся обработка завершена. Вы бы сделать следующее:

• Первоначально вставить запись в DynamodB с полем, как numberOfLambdaCalls набор атрибутов для числа одновременных казней вы сбрасывая, и атрибут completedLambdaCalls установлен в 0.
• По мере выполнения каждой функции, как часть обновления записи DynamoDB, они будут увеличивать атрибут completedLambdaCalls атомарно.
• Каждая функция может проверить возвращенный результат обновления, чтобы узнать, были ли они завершены обработкой, например if numberOfLambdaCalls == completedLambdaCalls, и если они есть, выполните любое действие, необходимое для запуска вашего ответа.