Что такое REDIS в стеке ELK?

Question

В настоящее время у меня есть архитектура с файловым битом в качестве отправителя лога, который отправляет журналы для регистрации индекса индекса штемпеля, а затем для управления эластичным поиском в AWS. Из-за постоянных соединений TCP я не могу загрузить баланс с помощью экземпляров индекса AWS ELB с несколькими регистраторами, поскольку файловые элементы всегда выбирают экземпляры и отправляют их туда. Поэтому я решил использовать redis. Теперь, видя, насколько сложно масштабировать redis и сделать его высокодоступным компонентом в стеке ELK, я хочу спросить, что является даже точкой redis. Я прочитал миллион раз, он действует как буфер, но если filebeats прекращает отправлять журналы в logstash, если logstash не может обрабатывать нагрузку, зачем нам нужен буфер. Filebeat достаточно умен, чтобы знать, чтобы прекратить отправку журналов. Logstash достаточно умен, чтобы прекратить отправку журналов в эластичный поиск, если эластичный поиск идет вниз. Таким образом, трубопровод останавливается. Я действительно не понимаю, что redis действует как буфер в каждой стандартной архитектуре ELK.

Answer 1

Redis или Kafka или XYZ могут использоваться как buffer in the ELK stack, как вы правильно заметили.

Вчера люди ES опубликовали вчерашний вопрос о том, как использовать Kafka в трубопроводе, но это могло быть также Redis или XYZ. Они делают хороший вывод о КОГДА такой буфер может понадобиться, а когда нет.

Это хорошая идея, чтобы иметь такой буфер для того, чтобы

1. шипов ручки событиями
2. сделки с потенциально недостижимым кластером ES

Если вы не ожидаете такое поведения , т. е. вы знаете

1. Ваши события всегда будут поступать с той же скоростью и/или
2. вы нормально с вашими журналы, которые перевозятся немного позже в случае, если вам необходимо обновить ES кластера

... тогда вам не нужен такой буфер. Более того, это будет меньше программного обеспечения, которое вам нужно будет контролировать, контролировать и поддерживать.

Когда речь заходит об экосистеме эластичных стоп, нет единого подхода, все зависит от вашего конкретного варианта использования и требований. Вы должны спросить себя, что важно для вас, вашей системы (ов) и ваших пользователей, а затем спроектируйте свое решение соответственно.