Реализация нескольких штормовых топологий

Question

Я работаю над топологией шторма, где мне нужно построить несколько топологий для разных местоположений клиентов.

У меня есть сервер Kafka, который обрабатывает данные, необходимые для достижения удаленной клиентской машины (после некоторой трансформации в болтах). Их около 1000. , когда в Kafka появляются новые данные, клиенты должны получить эти данные за несколько минут. Существует некоторая трансформация, которая должна произойти (которая может обрабатываться болтами), и данные отправляются удаленному клиенту через websocket.

например: Kafka server -> Kafka spout -> Bolt1 -> bolt2 -> bolt3 -> websocket (на клиентской машине) У меня 1000 клиентских машин.

Я надеюсь, что эта топология может быть динамически создана для каждого клиента. Когда клиент готов, могут ли они инициировать эту топологию и начать чтение данных? или могут ли эти топологии (1000 из них) создаваться на шторме и готовы отправить данные?

Возможно ли использование этой архитектуры с помощью Storm? Насколько это эффективно? Возможно ли настроить Storm?

благодарит за ваш ответ.

Answer 1

Настройка топологии на одного клиента не будет стандартным способом решения вашей проблемы. Поскольку потребности в обработке данных каждого клиента идентичны, более традиционный подход состоит в том, чтобы иметь единственную топологию, которая считывает из входной очереди (как правило, Kafka), выполняет обработку, а затем возвращает отчеты клиентам.

Вы специально вызываете динамическое создание топологии для каждого клиента. Это, безусловно, возможно, но я не думаю, что это необходимо, учитывая то, что я понимаю о том, что вы пытаетесь сделать.