штормовой поиск источника (ов) латентности

Question

У меня есть топология из трех частей, которая имеет серьезные проблемы с задержкой, но у меня возникли проблемы с выяснением того, где.

Кафка -> дб поиска -> записи Кассандре

чисел от взгляда шторма UI, как это:

(я вижу, что болты работают на> 1,0 мощности)

Если латентность процесса для двух болтов составляет ~ 65 мс, почему «полная латентность»> 400 сек? «Неверные» кортежи исходят из тайм-аутов, которые, как я подозреваю, так как значение латентности постоянно увеличивается.

Кортежи подключены через shuffleGrouping.

Cassandra живет на AWS, поэтому в пути могут быть ограничены сети.

У штурмового кластера есть 3 машины. В топологии работают 3 человека.

Answer 1

FWIW - кажется, что значение по умолчанию для TOPOLOGY_MAX_SPOUT_PENDING не ограничено. Я добавил звонок stormConfig.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, 500); и покажется, что проблема была устранена. Возможная проблема «громоподобного стада»?

---

После установки TOPOLOGY_MAX_SPOUT_PENDING до 500:

Answer 2

Ваша топология имеет несколько проблем:

1. взгляд на способности к decode_bytes_1 и save_to_cassandra носиками. Оба они превышают 1 (сумма всех ресурсов носителей должна быть меньше 1), а это означает, что вы используете больше ресурсов, чем то, что у вас есть. То есть топология не может справиться с нагрузкой.
2. TOPOLOGY_MAX_SPOUT_PENDING решит вашу проблему, если пропускная способность кортежей меняется в течение дня. Это, если у вас есть часы заглядывания, и вы будете наверстать упущенное в часы без внимания.
3. Вам необходимо увеличить количество рабочих машин или оптимизировать код в лотках для рта бутылки (или, возможно, оба). В противном случае вы не сможете обработать все кортежи.
4. Вы, вероятно, можете улучшить Кассандру стойкую бактерию, вставив в пакетах instread вставных кортежей один на один ...
5. Я серьезно рекомендую вам всегда установить TOPOLOGY_MAX_SPOUT_PENDING для консервативного значения. Ожидаемый максимальный носик означает максимальное количество неактивных кортежей внутри топологии, помните, что это значение умножается на количество пятен, а кортежи будут тайм-аут (сбой), если они не были подтверждены через 30 секунд после испускания.
6. И да, ваша проблема связана с таймингами, это именно то, что происходит.
7. (EDIT), если вы используете среду разработки (или сразу после развертывания топологии), может возникнуть всплеск трафика, генерируемого сообщениями, которые еще не потреблялись носиком; важно, чтобы этот случай не влиял на вашу топологию - вы никогда не знаете, когда вам нужно перезапустить топологию производства или выполнить некоторое обслуживание - если это так, вы можете справиться с ней как временный всплеск трафика - носик должен потреблять все сообщения, созданные в то время, когда топология была отключена - и после некоторого (или нескольких минут) частота входящих кортежей стабилизируется; вы можете справиться с этим с ожидающим параметром max pout (снова прочитайте пункт 2).
8. Учитывая, что у вас есть 3 узла в вашем кластере, а cpu - использование 0,1, вы можете добавить больше исполнителей на болты.