2015-09-04 4 views
1

Носик -> Bolt1 -> Bolt2 -> Bolt3 -> Ack orginalID (высвободит сообщение на очереди)Apache Сторм болт болт сообщения остановки или слоеное

Основная топология, кажется, работает в течение нескольких минут, но в некоторых что сообщение не получает ни отправлено, ни уничтожено, и болт никогда не вызывается. Я не могу сказать, как только поток java умирает, поскольку в журналах нет исключений или каких-либо признаков того, что что-то не так.

Apache storm .92 или .95 оба имеют одинаковые результаты для меня.

Я программирую шторм в течение нескольких лет и никогда не видел этого ....

+0

Вы проверили все сообщения об ошибках топологии, работника, супервизора и nimbus? Поскольку вы упоминаете «ack» как последний шаг, я предполагаю, что вы допускаете отказоустойчивость. Каково ваше значение «max.spout.pending»? У вас есть узкое место в конвейере (используйте Storm UI, чтобы наблюдать, может ли весь болт поддерживать обработку входных кортежей)? –

+0

@Don Вы уверены, что носик не заканчивается из кортежей, чтобы испустить? если один из ваших болтов падает с каким-то «неизвестным исключением», вы должны иметь возможность видеть, что кортежи терпят неудачу в носике таймаутом. –

+0

@ MatthiasJ.Sax, ожидающий максимальный носик, не влияет на наблюдаемое поведение. Как только один кортеж полностью обработан, другой может быть испущен. –

ответ

0

Ok, так как мой предыдущий ответ был удален, я попробую еще раз только один раз. Мы видели подобное поведение, особенно при тяжелых нагрузках. Оказалось, это было из-за медленного болта. В результате этот медленный процесс заполнял очередь (обычно это занимало несколько часов), и в какой-то момент, когда размер очереди был достаточно высоким, шторм полностью прекратил обработку.

+0

Я собирался отметить это как «не ответ», но затем я заметил это предложение в [справочном центре ] (http://stackoverflow.com/help/how-to-answer): «внесите свой вклад в результаты ваших исследований и все, что вы попробовали в качестве частичного ответа». Итак, спасибо за участие в ваших исследованиях. Пожалуйста, сообщите нам, если вы обнаружите какие-либо другие идеи. – showdev

Смежные вопросы