Я как бы новичок в Logstash. У нас есть устаревшее веб-приложение, которое отправляет журналы непосредственно на сервер Redis в формате JSON. Теперь я хочу отобразить эти журналы в веб-интерфейсе.
Что я читал о Elasticsearch и Kibana, я действительно впечатлен их функциональностью.
Можно ли кормить журналы от redis до непосредственно elasticsearch, а затем визуализировать их с помощью Kibana?Возможно использование Kibana + Elasticsearch без Logstash?
Да, Kibana может отображать любую информацию, хранящуюся в индексах ElasticSearch.
Вам понадобится способ автоматической индексации элементов из Redis в ElasticSearch. Вы скорее можете написать свой собственный сценарий (должно быть довольно просто в вашем случае) или использовать существующее программное обеспечение, как Redis plugin for LogStash или Redis river plugin for ElasticSearch (устаревшее)
Привет @Eugene, если я использую ** Redis плагин для LogStash **, то мне придется настроить LogStash. Я прав ? Я хочу обойти LogStash, потому что мои журналы уже находятся в Redis, что тоже в формате JSON. Использование LogStash излишне увеличивает накладные расходы. Правильно ? Спасибо за помощь. –
Настройка логсташа - это не накладные расходы, но написать плагин для Redis можно. Для вашей проблемы вы можете сделать одно, хотя это немного больно. Если вы можете экспортировать свои данные в текстовый файл в формате json, вы можете импортировать файл в elasticsearch с помощью простой команды logstash. Если данные достаточно велики, тогда вам нужно написать собственный скрипт logstash для «отвесных» данных от redis до эластичного. Написание сценария сантехники в логсташе было бы проще в логсташе, чем в эластичном, я думаю. – Mohitt
@BhushanPatil, единственный способ избежать накладных расходов - сделать ваше приложение экономить журналы непосредственно в ElasticSearch вместо (или в дополнение к) Redis. Теперь, если вы правильно настроили его, LogStash не должен быть слишком большим. Просто попробуйте и посмотрите, замедляет ли ваша система. Я лично предпочитаю пользовательские сценарии импортера, потому что тогда я могу точно настраивать поля, сопоставления, я могу делать различные преобразования значений перед сохранением, я могу переиндексировать материал позже, если что-то пойдет не так и т. Д. –
Абсолютно, вы можете использовать Kibana для просмотра индексов без логсташа просто отлично.
Вы также можете использовать другие разъемы как MongoDB и вставки данных в elasticsearch или вставлять непосредственно kibana данных не зависит от logstash, logstash в основном используется для обработки данных журналов, которые вы можете делать так, как вам нравится.
Вы можете просмотреть любой индекс поиска elastics в kibana, logstash просто создает еще один индекс в elasticsearch, поэтому kibana может его просматривать. – Lital