Использование SQS для пакетного запуска

Question

Я запускаю новую архитектуру для поддержки базы данных MDM (Master data management). Для базы данных MDM я буду использовать базу данных графа (Neo4J). Поэтому мне нужно интегрировать разрозненные источники в базе данных MDM. У меня будут источники от заказов, регистрация клиентов, отзывы от Facebook и т. Д.

Поэтому я предполагаю, что у меня может быть одна или несколько очередей SQS для источников. Поэтому каждый источник будет размещать сообщения в SQS.

Тогда у меня будет много рабочих узлов, которые будут нести ответственность за получение сообщений из очереди и обновление базы данных MDM.

На данный момент я буду использовать только одного работника, потому что я не знаю, как neo4j будет работать с несколькими авторами.

Поэтому я вижу, что многие люди используют SQS для отправки сообщений для запуска пакетного процесса. Это похоже на работу.

Является ли распространенным вариантом использования SQS для отправки сообщений данных? Или, возможно, использовать другой компонент AWS.

Answer 1

Использование Neo4j с системой массового обслуживания довольно распространено. Я никогда не использовал SQS сам, но знал людей, использующих ActiveMQ (или другие) для подачи данных в Neo4j.

Это в основном сделано, отделив архитектуру и обеспечив способ грациозно справиться с пиками нагрузки.

В зависимости от вида событий, которые вы помещаете в очередь, может быть полезно, если потребитель однопоточный - особенно. когда события записывают одну и ту же часть графика. В противном случае механизм блокировки Neo4j предотвратит одновременную запись на те же узлы/rels.