Штормовая альтернатива для развертывания одного узла

Question

Я создаю приложение и хочу, чтобы он был масштабируемым с использованием Storm. Проблема в том, что большинство пользователей фактически запускают ее в одном узле.

Я не думаю, что это справедливо для тех пользователей, которые должны установить Storm в одном узле только для использования приложения. Есть ли способ заставить приложение требовать только Storm, если пользователь должен запускать его на нескольких компьютерах, не переписывая часть приложения? Может быть, библиотека?

Я знаю, что всегда мог написать часть кода, предназначенного для работы в среде Storm, и позволить пользователям решить, но я ищу более элегантный подход. Если никакого решения не существует, я думаю о написании «прокси-библиотеки», которая будет определять погоду для использования болтов в стиле «Шторм» или в одном узле.

Я использую Python, но я могу использовать другой язык, если это требует решение.

Answer 1

Хммм ... Ваш вопрос генетический и трудно ответить. Я лично бы просто пошел со Штормом, потому что:

1. Он сохраняет код проще.
2. Установка Шторма не слишком сложна.
3. Для непараллельного выполнения вы можете использовать Storm LocalCluster, которые выполняют программы Storm на одной JVM и, следовательно, не требуют настройки кластера. Однако имейте в виду, что LocalCluster был предназначен для тестирования кода, а не для его использования (если я не ошибаюсь - возможно, вам стоит проверить другие источники, чтобы проверить). Не уверен, насколько он стабилен в долгосрочной перспективе (и, конечно же, не существует отказоустойчивости), однако, если вы реализуете свое собственное локальное приложение или «прокси-библиотеку», у вас тоже может быть отказоустойчивость).

Написание «прокси-библиотеки» - это плохая идея. Но не стоит недооценивать сложность этого подхода! Это будет довольно сложно построить полностью полностью.