Управление архитектурой, управляемой событиями

Question

В настоящее время я работаю над проектом, где мне нужно выполнить обработку файлов в режиме реального времени. Вот рабочий процесс Я пытаюсь добиться

a. User requests a file to be processed to Server A (web) 
b. Server A forwards the request to Server B 
c. Server B finishes and signals Server A that it’s done 
d. Server A signals the user that the file is ready (web) 

Что я ищу? Мне нужно найти простой способ ведения событий между сервером A & Сервер B (т.е. этапы b & c). FYI Я буду использовать socket.io для связи с пользователем по шагам a & d через Интернет.

В средах, которые я буду использовать, находятся серверы Ubuntu 14.04, на которых запущены службы node.js (обратите внимание, что решение не должно быть строго узким, если есть интерфейс).

Похоже, достаточно просто? Вот где это усложняется. Каждый набор серверов (считая их теперь веб-серверами и серверами обработки) будет реплицироваться внутри облака (так много из них). Предостережение заключается в том, что, когда сервер обработки завершен, обрабатывая файл, он должен сигнализировать всем веб-серверам, что файл готов. Зачем? Каждый веб-сервер мог обслуживать запрос, ожидающий того же файла.

мне нужно решение, которое достигает этот рабочий процесс в кратчайших сроках (т.е. событие ведомого, а не опрос), который взаимодействует с Node.js и работает на Ubuntu. Любые мысли?

Answer 1

Одним из способов облегчить вашу жизнь может быть использование redis для вашего общения на веб-серверах о том, когда файл загружен и готов к работе. Redis имеет встроенную подписку на канал/обмен сообщениями и довольно прост в использовании с node.js

Итак, когда поступает запрос файла, если веб-сервер ранее слышал от redis, что файл загружен, он может получить файл и вернуть его, в противном случае сигнализировать бэкэнд для обработки файла и ждать уведомления от канала redis