Logstash - ElasticSearch - Kibana :: задержка 10 и более секунд

Question

У меня есть стек по умолчанию «elasticsearch» (ubuntu 14.04, ES v1.2), развернутый, от redis до Kibana.

Я отправляю значение @now с текущей датой отправки, а Elasticsearch присваивает свой собственный @timestamp.

Ну, если вы вычислите (@timestamp - @now), будет более 10 секунд (иногда даже минута) задержки или задержки.

Это нормальное поведение? Я не слишком сильно настраивал свой экземпляр, но я посылаю очень мало событий и не смотрю, нравится проблема производительности/памяти/ввода-вывода.

Подсказка приветствуется.

Answer 1

У вас по крайней мере 5 штук программного обеспечения на этом пути (вы не указываете, какой грузоотправитель вы используете).

Во-первых, убедитесь, что все «тепло», когда вы смотрите на результаты. logstash и elasticsearch основаны на JVM, поэтому есть все, о чем беспокоиться. Обычно я даю им 2 минуты, прежде чем начинаю измерять что-либо.

Во-вторых, обратите внимание на размеры буфера, которые могут вызвать большее влияние в среде с низким объемом, такой как ваша. Ваш отправитель отправляет каждое сообщение или пакет (логсташ имеет по умолчанию 50 документов за пакет, когда используется в качестве грузоотправителя для повтора)? Как насчет чтения из redis (по умолчанию 1, но можно изменить)? Как насчет отправки из логсташа в elasticsearch (по умолчанию - 1000, хотя он также размывается каждую секунду)?

Как насчет вашего оборудования по всей цепочке? Загрузка процессора? ОЗУ? SSD против спиннинга дисков? Сетевая латентность? Вывоз мусора?

Сколько фильтров вы делаете на грузоотправителе или указателе? Много плохих регулярных выражений?

Или даже основы - установлены ли часы одинаково?

[Я уже вижу, что СО-полиция предлагает, чтобы это был комментарий, а не ответ. Тем не менее, вы заметите конкретные вещи, упомянутые для OP для исследования, и урок, что есть много ручек для поворота. ]