Нужна помощь в отношении шторма

Question

1) Что произойдет, если Nimbus не удастся? Можем ли мы преобразовать какой-нибудь другой узел в Нимбус?

2) Где хранится выход топологии? Когда болт испускает кортеж, где он хранится?

3) Что произойдет, если неудачник?

Answer 1

1. Nimbus сам по себе является отказоустойчивым процессом, что означает, что он не сохраняет свое состояние в памяти, а во внешней базе данных (Zookeeper). Поэтому, если Nimbus выйдет из строя (маловероятный сценарий), при следующем запуске он возобновит обработку только там, где он остановился. Обычно Nimbus должен быть настроен для контроля с помощью внешней системы мониторинга, такой как Monit, которая периодически проверяет состояние процесса Nimbus и перезапускает его, если возникнет какая-либо проблема. Я предлагаю вам прочитать Storm project's wiki для получения дополнительной информации.

   Nimbus является главным узлом кластера Storm и не может иметь несколько узлов Nimbus. (Update: Бури сообщество сейчас (по состоянию на 5/2014) активно работают над созданием вина демон Nimbus терпимы в отказоустойчивый образом, имея несколько венчиков heartbeating друг друга)

2. Кортеж «хранится» в дереве кортежа, и он передается следующему болту в цепочке выполнения топологии по мере выполнения выполнения топологии. Что касается физического хранения, кортежи, вероятно, хранятся в структуре внутри памяти и серализованы по мере необходимости для распределения между узлами кластера. Полное состояние кластера Storm хранится в Zookeeper. Шторм не относится к постоянному хранению топологии или выхода болта - ваша работа заключается в сохранении результатов обработки.

3. То же, что и для Nimbus, Zookeper в реальном производстве. Штурмовой кластер должен быть настроен на надежность, а для Zookeeper - наличие нечетного количества узлов Zookeeper, работающих на разных серверах. Вы можете найти дополнительную информацию о настройке производственного кластера Zookeeper в Zookeper Administrator's Guide. Если Zookeeper потерпит неудачу (хотя это слишком маловероятный сценарий в правильно настроенном кластере Zookeeper), кластер Storm не сможет продолжить обработку, поскольку состояние кластера сохраняется в Zookeeper.

Answer 2

Что касается вопроса 1), это bug report и последующее комментарий от Штормовой авторы и разработчике Nathan марзу разъяснен вопрос:

Шторма не предназначен для имеющих топологии частично работает. Когда вы сбиваете мастера, он не может переназначить неудавшихся работников. Мы работаем над отказом Nimbus. Nimbus отказоустойчив к перезапуску процесса, что сделало его отказоустойчивым для наших и большинства случаев использования людьми.