Как форматировать дату в Filter в Logstash

Question

Я использую Logstash для вывода сообщения JSON в API. Я читаю журналы из файла журнала. Мои конфигурации работают нормально, а также отправляют все сообщения в API. Ниже приводится файл журнала выборки:

Файл журнала:

2014 Jun 01 18:57:34:158 GMT +5 BW.Customer_01_001_009-Process_Archive Info [BW-Core] BWENGINE-300009 BW Plugins: version 5.10.0, build V48, 2012-6-3 
2014 Jun 01 18:57:34:162 GMT +5 BW.Customer_01_001_009-Process_Archive Info [BW-Core] BWENGINE-300010 XML Support: TIBCOXML Version 5.51.500.003 
2014 Jun 01 18:57:34:162 GMT +5 BW.Customer_01_001_009-Process_Archive Info [BW-Core] BWENGINE-300011 Java version: Java HotSpot(TM) Server VM 20.5-b03 
2014 Jun 01 18:57:34:162 GMT +5 BW.Customer_01_001_009-Process_Archive Info [BW-Core] BWENGINE-300012 OS version: i386 Linux 3.11.0-12-generic 
2014 Jun 01 18:57:41:018 GMT +5 BW.Customer_01_001_009-Process_Archive Warn [BW_Core] Duplicate message map entry for BW-HTTP-100118 
2014 Jun 01 18:57:41:027 GMT +5 BW.Customer_01_001_009-Process_Archive Warn [BW_Core] Duplicate message map entry for BW-HTTP-100206 
2014 Jun 01 18:57:41:408 GMT +5 BW.Customer_01_001_009-Process_Archive Info [BW-Core] BWENGINE-300013 Tibrv string encoding: ISO8859-1 
2014 Jun 01 18:57:42:408 GMT +5 BW.Customer_01_001_009-Process_Archive Warn [BW_Core] Duplicate message map entry for BW-HTTP-100118 
2014 Jun 01 18:57:42:408 GMT +5 BW.Customer_01_001_009-Process_Archive Warn [BW_Core] Duplicate message map entry for BW-HTTP-100206 
2014 Jun 01 18:57:42:555 GMT +5 BW.Customer_01_001_009-Process_Archive Warn [BW_Core] Duplicate message map entry for BW-HTTP-100118 
2014 Jun 01 18:57:42:555 GMT +5 BW.Customer_01_001_009-Process_Archive Warn [BW_Core] Duplicate message map entry for BW-HTTP-100206 
2014 Jun 01 18:57:42:557 GMT +5 BW.Customer_01_001_009-Process_Archive Warn [BW_Core] Duplicate message map entry for BW-HTTP-100118 
2014 Jun 01 18:57:42:557 GMT +5 BW.Customer_01_001_009-Process_Archive Warn [BW_Core] Duplicate message map entry for BW-HTTP-100206 
2014 Jun 01 18:57:42:595 GMT +5 BW.Customer_01_001_009-Process_Archive Warn [BW_Core] Duplicate message map entry for BW-HTTP-100118 

Я использую ГРОК шаблон для разбора этого файла журнала Ниже мой пример файла конфигурации:

Файл конфигурации:

filter { 
     if [type] == "bw5applog" { 
     grok { 
      match => [ "message", "(?<log_timestamp>%{YEAR}\s%{MONTH}\s%{MONTHDAY}\s%{TIME}:\d{3})\s(?<log_Timezone>%{DATA}\s%{DATA})\s(?<log_MessageTitle>%{DATA})(?<MessageType>%{LOGLEVEL})%{SPACE}\[%{DATA:ProcessName}\]%{SPACE}%{GREEDYDATA:Message}" ] 
      add_tag => [ "grokked" ]   
     } 
     mutate { 
      gsub => [ 
      "TimeStamp", "\s", "T", 
      "TimeStamp", ",", "." 
      ] 
     } 
     if !("_grokparsefailure" in [tags]) { 
      grok{ 
        match => [ "message", "%{GREEDYDATA:StackTrace}" ] 
        add_tag => [ "grokked" ]  
       } 
      date { 
        match => [ "timestamp", "yyyy MMM dd HH:mm:ss:SSS" ] 
        target => "TimeStamp" 
        timezone => "UTC" 
       } 
     } 
    } 
} 

Я могу разобрать полную запись в журнале в соответствии с моим r equirement, но я хочу отформатировать дату.

Постановка задачи:

В настоящее время я получаю дату в следующем формате из проанализированных записей журнала:

log_timestamp: 2014·May·28·12:07:35:927 

Но формат, в котором мой API ожидает, что дата, как показано ниже:

Ожидаемый результат:

log_timestamp: 2014-05-28T12:07:35:927 

Как я могу достичь этого, используя вышеупомянутые конфигурации фильтров, я попытался сделать что-то со следующими конфигурациями, но я не смог добиться успеха.

Answer 1

Вы применяете фильтр даты в неправильном поле. Вместо timestamp, вы должны применять его на log_timestamp поле, которое содержит дату вы хотите разобрать:

date { 
     match => [ "log_timestamp", "yyyy MMM dd HH:mm:ss:SSS" ] 
     target => "log_timestamp" 
     timezone => "UTC" 
} 

Кроме того, мутируют фильтр бесполезен, так как он применяется на поле, которое не существует (Timestamp).