Как обрабатывать несколько гетерогенных входов с помощью Logstash?

Question

Допустим, у вас есть 2 очень разные типы журналов, таких как технические и бизнес-журналы, и вы хотите:

• сырые технические журналы быть направлены в сторону сервера graylog2 с использованием gelf выход,
• JSON бизнес-журналы хранятся в кластер elearchearch, используя выделенный вывод elasticsearch_http.

Я знаю, что с Syslog-NG файл конфигурации позволяет определить несколько отдельных входов, которые затем могут обрабатываться отдельно перед отправкой; какой Logstash похоже не может сделать. Даже если один экземпляр может быть инициирован с двумя конкретными файлами конфигурации, все журналы имеют один и тот же канал и применяются одни и те же процессы ...

Должен ли я запускать столько экземпляров, сколько у меня есть разные типы журналов?

Answer 1

Должен ли я запускать столько экземпляров, сколько у меня есть разные типы журналов?

Нет! Вы можете запускать только один экземпляр для обработки различных типов журналов.

В файле конфигурации logstash вы можете указать каждый вход с различными type. Затем в фильтре вы можете использовать if для отличной обработки, , а также на выходе вы можете использовать вывод «if» для разных целей.

input { 
    file { 
      type => "technical" 
      path => "/home/technical/log" 
    } 
    file { 
      type => "business" 
      path => "/home/business/log" 
    } 
} 
filter { 
    if [type] == "technical" { 
      # processing ....... 
    } 
    if [type] == "business" { 
      # processing ....... 
    } 
} 
output { 
    if [type] == "technical" { 
      # output to gelf 
    } 
    if [type] == "business" { 
      # output to elasticsearch 
    } 
} 

Надеется, что это может помочь вам :)

Answer 2

Я думаю logstash не может прочитать более 2-х файлы в разделе Input. попробуйте ниже

input { 
    file { 
      type => "technical" 
      path => "/home/technical/log" 
    } 
    file { 
      type => "business" 
      path => "/home/business/log" 
    } 
file { 
      type => "business1" 
      path => "/home/business/log1" 
    } 
} 

Answer 3

Я использовал тег для нескольких входных файлов:

input { 
    file { 
     type => "java" 
     path => "/usr/aaa/logs/stdout.log" 
     codec => multiline { 
      ... 
     }, 
     tags => ["aaa"] 
    } 

    file { 
     type => "java" 
     path => "/usr/bbb/logs/stdout.log" 
     codec => multiline { 
       ... 
     } 
     tags => ["bbb"] 
    } 
} 
output { 
    stdout { 
     codec => rubydebug 
    } 
    if "aaa" in [tags] { 
     elasticsearch { 
      hosts => ["192.168.100.211:9200"] 
      index => "aaa" 
      document_type => "aaa-%{+YYYY.MM.dd}" 
     } 
    } 

    if "bbb" in [tags] { 
     elasticsearch { 
      hosts => ["192.168.100.211:9200"] 
      index => "bbb" 
      document_type => "bbb-%{+YYYY.MM.dd}" 
     } 
    } 
}