logstash 2.3.3 многострочного фильтр не работает с несколькими рабочих

Question

Я начал logstash с несколькими рабочими> 16.

У меня есть многострочные сообщения, как ява исключения/Java следы и хочу, чтобы объединить их в одно событие. Ранее он работал, как и ожидалось, но после обновления мой ELK стек это нарушение :-(

мой logstash фильтр:

filter { 
    multiline { 

    pattern => "(^[a-zA-Z.]+(?:Error|Exception): .+)|(^\s+at .+)|(^\s+... \d+ more)|(^\s*Caused by:.+)" 
    what => "previous" 
    } 
} 

logstash журналы:

:message=>"Warning: Manual override - there are filters that might not work with multiple worker threads", :worker_threads=>16, :filters=>["multiline"], :level=>:warn} 
Exception in pipelineworker, the pipeline stopped processing new events, please check your filter configuration and restart Logstash. 

Answer 1

Если вы модернизировали от Logstash версии 1.5, ожидается.
В версии 2.0 были введены рабочие потоки, но поскольку многострочный фильтр не является потокобезопасным, он предотвращает использование более одного рабочего потока.

Таким образом, вы будете иметь либо:

• Используйте multiline codec.
  Например, чтобы присоединиться к Java исключения StackTrace:

  input { 
      stdin { 
      codec => multiline { 
       pattern => "(^.+Exception: .+)|(^\s+at .+)|(^\s+... \d+ more)|(^\s*Caused by:.+)" 
       what => "previous" 
      } 
      } 
  } 
  

• ли многострочная операции на вашем грузоотправителе (оба бобра и filebeat может быть настроен, чтобы сделать это)

• Используйте только один рабочий поток (в этом случае вы можете использовать несколько экземпляров Logstash для использования всех ваших ядер процессора, но имейте в виду, что многострочный фильтр будет удален).