0
Как следует из длинной темы, мои удаленные серверы отправляют журналы на сервер логсташа.ELK Stack - Журналы удаленных серверов проанализированы и классифицированы правильно, но сбрасываются в stout not elasticsearch
Здесь logstash конфиги:
Вход:
[[email protected] conf.d]# cat 01-lumberjack-input.conf
input {
lumberjack {
port => 5000
type => "logs"
ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
}
}
Тип:
[[email protected] conf.d]# cat 10-syslog.conf
filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
add_field => [ "received_at", "%{@timestamp}" ]
add_field => [ "received_from", "%{host}" ]
}
syslog_pri { }
date {
match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
}
}
}
Выход:
[[email protected] conf.d]# cat 30-lumberjack-output.conf
output {
elasticsearch { host => localhost }
stdout { codec => rubydebug }
}
местные журналы работают отлично, как metioned, но все журналы с пульта дистанционного управления отправляется на стандартный вывод:
[[email protected] logstash]# tail -n 19 logstash.stdout
{
"message" => "Nov 29 20:16:44 foreman dhcpd: DHCPACK on 192.168.50.100 to 3c:4a:92:12:1c:cb via eth0",
"@version" => "1",
"@timestamp" => "2014-11-29T20:16:44.000Z",
"type" => "syslog",
"file" => "/var/log/messages",
"host" => "foreman.ics.dmz",
"offset" => "3511785",
"syslog_timestamp" => "Nov 29 20:16:44",
"syslog_hostname" => "foreman",
"syslog_program" => "dhcpd",
"syslog_message" => "DHCPACK on 192.168.50.100 to 3c:4a:92:12:1c:cb via eth0",
"received_at" => "2014-11-29 07:16:46 UTC",
"received_from" => "foreman.ics.dmz",
"syslog_severity_code" => 5,
"syslog_facility_code" => 1,
"syslog_facility" => "user-level",
"syslog_severity" => "notice"
}
Это может быть глупый вопрос, но я только установили грузоотправитель на сервере клиента, нужно ли мне, что logstash работает там, а?
Заранее благодарен!
Ваш выход {} stanza будет пытаться отправить в elasticsearch на локальном компьютере, а также распечатать на stdout. Эта часть выглядит отлично. Является ли поиск elasticsearch на локальной машине? Можете ли вы локально подключиться к порту (9300, я полагаю)? –
Yup, elasticsearch слушает на 9200 и 9300. ::: 9300 & ::: 9200 Вставки должны происходить из локального экземпляра logstash, поэтому я предполагаю, что он на адресе ipv6 не имеет значения, поскольку локальный журналы правильно поданы? – Werner
Ммм .. Хорошо, легкое замешательство. Я ничего не изменил, после публикации моего вопроса я лег спать. Сегодня утром у меня есть данные от других машин ... Зачем им такая огромная задержка в появлении в толстом журнале, когда они доступны в Кибане? Задержка составляет более часа? Возможно, из-за этого: (/ etc/sysconfig/logstash-forwarder) LOGSTASH_FORWARDER_OPTIONS = "- config/etc/logstash-forwarder -spool-size 100" – Werner