Logstash не анализирует несколько названных групп захвата

Question

Я только начал играть с Logstash, ElasticSearch и Kibana для визуализации журналов, и в настоящее время у меня возникают некоторые проблемы.

У меня есть файл журнала, который собирается logstash, и я хочу извлечь поля из записей журнала, прежде чем записывать их в ElasticSearch.

Я определил фильтр с моим числом названных групп захвата в моем файле конфигурации logstash, но на данный момент выполняется только первая из этих групп имен.

Мой лог-файл выглядит примерно следующим образом:

[2014-01-31 12:00:00] [FIELD1: SomeValue] [FIELD2: SomeValue]

и мой logstash фильтр выглядит follwing:

if[type] == "mytype { grok { match => [ "message", "(?<TIMESTAMP>regex)", "message", "(?<FIELD1>regex)", "message", "(?<FIELD2>regex)" ] } } 

Я verfied регулярных выражений для всех моих полей являются правильными, но когда я иду к приборной панели Kibana FIELD1 и FIELD2 не появляются.

Если бы кто-нибудь мог пролить свет на это, я был бы благодарен.

Благодаря

Кевин

Answer 1

После обучения немного больше о разборе использования ГРОК я нашел много времени это не нужно иметь, чтобы написать свои собственные регулярные выражения. Существует несколько предопределенных шаблонов grok, которые я могу использовать, и я могу расширить их, чтобы создавать свои собственные шаблоны при анализе журналов журналов.

Полезная ссылка на шаблоны grok, поддерживаемые logstash: https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns.

Используя новые знания, я смог изменить конфигурацию своего соответствия ниже.

if[type] == "mytype" { 
    grok { 
     match => ["\[%{TIMESTAMP_ISO8601:dateTime}\]%{SPACE}\[%{WORD}\:%{FLOATINGPOINT:cpu}\]%{SPACE}\[%{WORD}\:%{FLOATINGPOINT:memory}\]"] 
    } 
} 

Это использует встроенный в шаблонов ГРОК TIMESTAMP: ISO8601, чтобы выбрать дату в моих журналах, и я создал очень простой пользовательский шаблон с плавающей точкой, чтобы выбрать значения с плавающей точкой для памяти и процессора в моем примере , Образец FLOATINGPOINT выглядит так:

FLOATINGPOINT %{INT}\.%{INT} 

Answer 2

поведение ГРОК по умолчанию, чтобы остановить обработку после первого матча.

Вы можете изменить это, установив break_on_match ложь:

if[type] == "mytype { 
    grok 
    { 
     match => [ 
      "message", "(?<TIMESTAMP>regex)", 
      "message", "(?<FIELD1>regex)", 
      "message", "(?<FIELD2>regex)" 
     ] 
     break_on_match => false 
    }  
}