NIFI - предупреждение о дросселях

Question

В одном из наших экземпляров NIFI, когда мы находимся в состоянии отставания, мы часто встречаем предупреждение о дросселировании. Мы настроили потоки индексирования, а также увеличили ресурсы (ЦП), выделенные для виртуальной машины. Какие еще вещи мы должны искать, чтобы определить, что вызывает противоречие, которое приводит к дросселю? Очевидно, что это может быть дисковый ввод-вывод, но при просмотре мониторинга ничего не выпрыгивает. Любые предложения о том, что другие делают для дальнейшего расследования, были бы весьма признательны.

НИФИ Версия: 0.6.1

Answer 1

Я бы сосредоточиться на диске раздора. Являются ли хранилища потоков, содержимого и репозитории происхождения на одном физическом разделе? Если да, то почти наверняка это связано с диском. Отличная команда для этого - «iostat». Обычно вы можете запускать что-то вроде «iostat -xmh 5» и следить за использованием.

Теперь даже на хорошо сконфигурированной системе можно иметь такую ​​высокую скорость передачи данных, что индексирование индексов просто не может идти в ногу. Эти случаи довольно редки и почти всегда легко устраняются за счет уменьшения количества отдельных предметов, плавающих вокруг потока (при необходимости, дозарядки).

Были достигнуты значительные улучшения, связанные с производительностью, начиная с выпуска 0.6.1 относительно обработки происхождений, и это может или не поможет вашему делу.

Худший сценарий ситуации заключается в том, что вы можете переключиться на переходный провенанс, который все в памяти, и сохраняет только 100 000 последних событий по умолчанию.