Инсталлятор Logstash масштабируется?

Question

Я использую logstash shipper -> redis -> logstash indexer -> elastricsearch -> kibana

Я понимаю, что redis и elastricsearch предназначены для масштабирования. Как насчет индексатора logstash, я вижу только на главном сайте logstash, чтобы показать пример использования только одного индексатора логсташей.

Будет ли это достаточно для обработки всех журналов? и каково ваше предложение о наличии множества экземпляров индексатора логсташей?

Answer 1

Если ваш индекс действительно является узким местом такой установки, вы можете легко добавить второго индексатора Logstash на втором компьютере с той же конфигурацией, где вы только измените исходный хост redis и целевой хост elasticsearch. Когда они читают один и тот же экземпляр redis, они используют блокирующие чтения, чтобы гарантировать, что одна запись redis считывается ровно одним индексом.

Как и все компоненты, они особенно хороши при горизонтальном масштабировании (больше машин), но индексатор также можно масштабировать на более крупную машину.

Если обработка отдельных событий журнала занимает слишком много времени, вы можете попытаться предотвратить работу с индексом. Это может быть, например, сделайте некоторую работу со стороны отправителя (используя фильтры Logstash) или попросите приложения записать журналы JSON вместо «простых» логарифмов.

Answer 2

При развертывании машины «большего размера» задайте количество рабочих, равное количеству ядер в системе. Вы можете установить это, используя флаг командной строки.

От: http://logstash.net/docs/1.4.2/flags

-w, --filterworkers COUNT Run COUNT фильтра рабочих (по умолчанию: 1)

Вы также можете сделать несколько тестов, чтобы увидеть, если это оптимальное для вас значение, в мой случай был. Вам не нужны дополнительные экземпляры на одной машине.