ELK для обработки оконных журналов

Question

Я создал рабочий стек ELK на Debian Wheezy и настроил Nxlog для сбора оконных журналов. Я вижу журналы в Kibana - все работает нормально, но я получаю слишком много данных и хочу отфильтровать их, удалив некоторые поля, которые мне не нужны.

Я сделал раздел фильтра, но он не работает вообще. В чем причина? Фильтр выше

input { 
tcp { 
    type => "eventlog" 
    port => 3515 
    format => "json" 
     } 
} 
filter { 
    type => "eventlog" 
    mutate { 
      remove => { "Hostname", "Keywords", "SeverityValue", "Severity", "SourceName", "ProviderGuid" } 
      remove => { "Version", "Task", "OpcodeValue", "RecordNumber", "ProcessID", "ThreadID", "Channel" } 
      remove => { "Category", "Opcode", "SubjectUserSid", "SubjectUserName", "SubjectDomainName" } 
      remove => { "SubjectLogonId", "ObjectType", "IpPort", "AccessMask", "AccessList", "AccessReason" } 
      remove => { "EventReceivedTime", "SourceModuleName", "SourceModuleType", "@version", "type" } 
      remove => { "_index", "_type", "_id", "_score", "_source", "KeyLength", "TargetUserSid" } 
      remove => { "TargetDomainName", "TargetLogonId", "LogonType", "LogonProcessName", "AuthenticationPackageName" } 
      remove => { "LogonGuid", "TransmittedServices", "LmPackageName", "ProcessName", "ImpersonationLevel" } 
      } 
    } 
output { 
elasticsearch { 
    cluster => "wisp" 
    node_name => "io" 
    } 
} 

Answer 1

Я думаю, что вы пытаетесь удалить поля, которые не существуют в некоторых журналах. Все ли ваши журналы содержат всех фидов, которые вы пытаетесь удалить? Если нет, вы должны идентифицировать свои журналы перед удалением полей. Ваш фильтр конфигурации будет выглядеть следующим образом:

filter { 
    type => "eventlog" 
    if [somefield] == "somevalue" { 
     mutate { 
      remove => { "specificfieldtoremove1", "specificfieldtoremove2" } 
     } 
    } 
}