Logstash не добавляющие поля

Question

Я использую Logstash 1.4.2, и у меня есть следующий файл conf.

Я бы ожидал увидеть в Kibana в разделе «Поля» слева варианты «received_at» и «received_from» и «description», но я этого не делаю.

Я вижу

• @timestamp
• @version
• _id
• _index
• _type путь хозяина

Я вижу в разделе _source на правой стороне следующие:

получено_at: 2015-05-11 14:19:40 UTC получено_из: PGP02 descriptionError1!

Так что, домой, они не отображаются в списке «Популярные поля»?

Я хотел бы фильтровать правую сторону, чтобы не показывать КАЖДОЕ поле в разделе _source справа. Извините блоки редактирования.

input 
{ 
    file { 
     path => "C:/ServerErrlogs/office-log.txt" 
     start_position => "beginning" 
     sincedb_path => "c:/tools/logstash-1.4.2/office-log.sincedb" 
     tags => ["product_qa", "office"] 
    } 
    file { 
     path => "C:/ServerErrlogs/dis-log.txt" 
     start_position => "beginning" 
     sincedb_path => "c:/tools/logstash-1.4.2/dis-log.sincedb" 
     tags => ["product_qa", "dist"] 
    } 

} 
filter { 

    grok { 
     match => ["path","%{GREEDYDATA}/%{GREEDYDATA:filename}\.log"] 
     match => [ "message", "%{TIMESTAMP_ISO8601:logdate}: %{LOGLEVEL:loglevel} (?<logmessage>.*)" ] 
     add_field => [ "received_at", "%{@timestamp}" ] 
     add_field => [ "received_from", "%{host}" ]  
    } 
    date { 
     match => [ "logdate", "ISO8601", "yyyy-MM-dd HH:mm:ss,SSSSSSSSS" ] 
    } 
    #logdate is now parsed into timestamp, remove original log message too 
    mutate { 
     remove_field => ['message', 'logdate' ] 
     add_field => [ "description", "Error1!" ] 
    } 
} 

output { 
    elasticsearch {   
    protocol => "http" 
    host => "0.0.0.x" 
    } 
} 

---

Update:

Я устал искать с запросом, как:

теги: Данные и LOGLEVEL: INFO

затем сохранить этот запрос, а затем перезагрузите страницу.

Но все-таки я не вижу LogLevel появляться как «Популярные поля»

Answer 1

Если поля не отображаются на левой стороне, это, вероятно, проблема кэширования kibana. Перейдите в Настройки-> Индексы, выберите свой индекс и нажмите оранжевую кнопку «Обновить».

Answer 2

У меня была такая же проблема, что и с логсташем, не добавляющим поля, и после довольно многого поиска и тестирования других вещей, вдруг у меня было решение (но я использую logstash-logback-encoder, поэтому у меня уже есть JSON - t, тогда вам нужно преобразовать вещи в JSON в logstash «input» -фазу).

Я добавил «JSon» плагин-фильтр, который сделал магию для меня:

filter { 
    json { 
     source => "message" 
    } 
}