Запись и передача событий между службами (AWS)

Question

У нас есть служба php, которая требует быстрой регистрации данных (обрабатывает 1000 клиентов в секунду, каждый записывает запись в журнал, 1000 сообщений в секунду), а затем отправляет которые регистрировали данные в режиме реального времени в другой службе. Мы используем AWS. Как вы перенесите данные на другую услугу Amazon? Должны ли мы использовать базу данных (запись в режиме синхронизации будет блокировать запросы php, нет?) Должны ли мы использовать что-то вроде amazon SQS или любого другого решения amazon?

Кроме того, мы используем красное смещение для запроса данных. Благодаря

Так как предложено здесь люди, мы видим несколько возможных решений: 1. Node.js с амазонки кинезисом 2. Node.js с Амазонкой SQS 3. Node.js пишущего на s3 с обработкой лямбды это 4. Мы используем на одном из наших серверов решение для написания локального mongodb и промывки навалом каждые несколько минут до s3 (мы можем изменить его на секунды)

Каковы преимущества/недостатки каждого решения ? Спасибо!

Answer 1

Amazon имеет идеальный продукт для вашего прецедента. Kinesis

Amazon Kinesis может непрерывно захватывать и хранить терабайты данных в час из сотен тысяч источников, таких как веб-сайт , маршрут передвижения финансовых операций, социальные медиа-каналы, IT журналы, и местоположения отслеживания событий.

Источник: http://aws.amazon.com/kinesis/

Ваш 1000 записей в секунду базовый блок, осколок. Вероятно, вы можете начать с 1, а затем добавить второй, если ваш спрос возрастет.

Осколок представляет собой базовую пропускную способность потока Amazon Kinesis. Один датчик обеспечивает пропускную способность ввода данных 1 МБ/с и данные 2МБ/с . Один осколок может поддерживать до 1000 записей PUT в секунду. Вы задаете количество осколков, необходимых в вашем потоке, на основе ваших требований к пропускной способности . Вы платите за каждый осколок с почасовой ставкой .

Answer 2

Вы можете использовать несколько этапов, например, у вас может быть установлена ​​очень простая служба node.js локально на веб-сервере, который принимает записи журнала (это даст вам минимальную задержку и максимальную пропускную способность). Затем служба node.js может передавать записи журнала, где вы хотите (db, SQS, SNS, что угодно).

Answer 3

Вы можете использовать комбинацию s3 и лямбда. Каждый записывает данные в s3 и для каждого объекта, добавленного в ведро s3, вы можете запустить функцию лямбда для ее обработки. Обе службы очень дешевы и очень масштабируемы.