ELK Stack and scaling

Question

Медведь со мной здесь. Я провел последнюю неделю или около того, знакомясь с ELK Stack.

У меня есть работающее однополюсное решение, работающее на стеке ELK, и у меня есть основы для того, как пересылать более одного типа журнала и как помещать их в разные индексы ES.

Все это работает очень хорошо, я хотел бы расширить операции.

Мой вопрос заключается в том, как масштабировать решение, чтобы удовлетворить потребности в данных.

Текущее решение обрабатывает меньшую подмножество данных и работает нормально, но я хотел бы объединить лот еще данных. Например, я в настоящее время нажимаю журналы отслеживания сообщений с 4 серверов почтовых ящиков, я хочу сделать то же самое, но для 40 серверов почтовых ящиков и много, гораздо более занятых.

Я также хотел бы нажать файлы журнала IIS с серверов клиентского доступа, 18 серверов CAS и около 30 минут журналов IIS на сервер в пиковое время были размером 120 МБ, с почти 1 миллионом записей.

Этот объем данных, скорее всего, свернуть единую коробку с ELK.

Я действительно не изучал его, но я читал, что ES позволяет для какой-либо группы кластеризации добавлять дополнительные экземпляры, что же касается и Logstash? Должна ли Кибана работать на нескольких серверах? или другой сервер для Logstash и ES?

Answer 1

Вы будете нажимать лимиты с помощью logstash, если вы много обрабатываете записи - groks, условные обозначения и т. Д. Наблюдайте за использованием процессора для подсказок.

Для самого эстафетного поиска речь идет о ОЗУ и диске IO. Наличие большего количества узлов в кластере должно обеспечивать оба.

С двумя узлами elasticsearch вы получите избыточность (копия на обеих машинах). Добавьте третье, и вы можете начать понимать преимущества IO (написание двух копий на три машины распространяется на IO).

Конечный узел данных будет иметь 64 ГБ ОЗУ на машине, при этом 31GB будет выделен для поиска elasticsearch.

Возможно, вы захотите добавить не-данные узлы, которые обрабатывают маршрутизацию данных, подлежащих индексированию, и фазу «уменьшить» при выполнении запросов. Поместите два из них за балансировщик нагрузки.

Answer 2

Как отметил Ален, добавление дополнительных узлов ES улучшит производительность (и даст вам избыточность).

На передней панели логсташа у нас есть два сервера логсташа, которые загружаются в ES - на данный момент мы просто направляем разные серверы для входа на разные серверы журналов, но мы, скорее всего, добавим уровень HA-Proxy перед сделать это автоматически и снова обеспечить избыточность.

С Kibana я бы не стал слишком беспокоиться - насколько мне известно, большая часть обработки выполняется в клиентском браузере, а это не зависит от производительности кластера ES.