Logstash Grok перезаписывать не работает

У меня есть следующие инструкции logstash grok, которые должны выполняться, если поле содержит строку «Caused», в этом случае к ней применяется другой шаблон, и он перезаписывается, но по какой-то причине он работает. Образцы регулярных выражений определенно работают индивидуально, и проблема находится в логике ниже. Любая помощь приветствуется, спасибоLogstash Grok перезаписывать не работает

grok { 
     patterns_dir => ["./patterns"] 
     match => ["message", "%{GREEDYDATA}\n%{JAVA_EXCEPTION_SHORT:exception}"] 
} 

if [exception] =~ "Caused" { 
     grok { 
      patterns_dir => ["./patterns"] 
      match => ["exception", "{JAVA_EXCEPTION_LONG:exception}"] 
      overwrite => ["exception"] 
     } 
}

Пользовательские Шаблоны:

JAVA_EXCEPTION_LONG (?<=^Caused by:).*?Exception 
JAVA_EXCEPTION_SHORT ^.+Exception

Пример журнала сообщений:

2016-11-15 05:19:28,801 ERROR [App-Initialisation-Thread] appengine.java:520 Failed to initialize external authenticator myapp Support Access || [email protected]:/mnt/data/install/assembly [email protected] 
java.lang.IllegalArgumentException: Could not check if provided root is a directory 
    at com.myapp.io.AbstractRootPrefixedFileSystem.checkAndGetRoot(AbstractRootPrefixedFileSystem.java:67) 
    at com.myapp.io.AbstractRootPrefixedFileSystem.<init>(AbstractRootPrefixedFileSystem.java:30) 
    at com.myapp.io.s3.S3FileSystem.<init>(S3FileSystem.java:32) 
    at com.myapp.io.s3.S3FileSystemDriver.loadFileSystem(S3FileSystemDriver.java:60) 
    at com.myapp.io.FileSystems.getFileSystem(FileSystems.java:55) 
    at com.myapp.authentication.ldap.S3LdapConfigProvider.initializeCloudFS(S3LdapConfigProvider.java:77) 
    at com.myapp.authentication.ldap.S3LdapConfigProvider.loadS3Config(S3LdapConfigProvider.java:51) 
    at com.myapp.authentication.ldap.S3LdapConfigProvider.getLdapConfig(S3LdapConfigProvider.java:42) 
    at com.myapp.authentication.ldap.DelegatingLdapConfigProvider.getLdapConfig(DelegatingLdapConfigProvider.java:45) 
    at com.myapp.authentication.ldap.LdapExternalAuthenticatorFactory.create(LdapExternalAuthenticatorFactory.java:28) 
    at com.myapp.authentication.ldap.LdapExternalAuthenticatorFactory.create(LdapExternalAuthenticatorFactory.java:10) 
    at com.myapp.frob.appengine.getExternalAuthenticators(appengine.java:516) 
    at com.myapp.frob.appengine.startUp(appengine.java:871) 
    at com.myapp.frob.appengine.startUp(appengine.java:754) 
    at com.myapp.jsp.KewServeInitContextListener$1.run(QServerInitContextListener.java:104) 
    at java.lang.Thread.run(Thread.java:745) 
Caused by: java.nio.file.NoSuchFileException: fh-ldap-config/ 
    at com.upplication.s3fs.util.S3Utils.getS3ObjectSummary(S3Utils.java:55) 
    at com.upplication.s3fs.util.S3Utils.getS3FileAttributes(S3Utils.java:64) 
    at com.upplication.s3fs.S3FileSystemProvider.readAttributes(S3FileSystemProvider.java:463) 
    at com.myapp.io.AbstractRootPrefixedFileSystem.checkAndGetRoot(AbstractRootPrefixedFileSystem.java:61)

источник

2016-11-25 Arturski

Без каких-либо журналов, чтобы проверить ваш conf против, я думаю, что проблема приходит в сравнение ('if [exception] = ~" Caused "') – baudsp

thanks @baudsp Я добавил дополнительную информацию, я также пробовал это: if «Вызвано» в [исключении] {}, но также не увенчалось успехом – Arturski

Но я чувствую, что исключение подробно описывает отсутствие файла? Вы уверены, что виновник находится из условия if? – Kulasangar

Grok фильтр терпит неудачу, потому что вам не хватает в этой линии в %:

match => ["exception", "{JAVA_EXCEPTION_LONG:exception}"]

Это должно выглядеть следующим образом:

match => ["exception", "%{JAVA_EXCEPTION_LONG:exception}"]

Поскольку синтаксический не удалось, поле exception не был переписан.

источник

2016-11-25 14:42:11 baudsp

спасибо! я не могу поверить, что я этого не заметил! Это сработало – Arturski

@Arturski Добро пожаловать! Я обнаружил это, пытаясь проверить шаблон с помощью grokconstructor.appspot.com/do/match#result, что очень полезно для тестирования шаблонов grok. – baudsp

Logstash Grok перезаписывать не работает

ответ

Смежные вопросы