Входной плагин Logstash jdbc с несколькими таблицами

Question

Мы используем Logstash для получения данных из РСУБД в поиск Elastic. На данный момент у меня есть несколько файлов конфигурации, каждый из которых имеет один запрос для каждой таблицы, которую мы хотим индексировать. Хотя это, кажется, отлично работает, есть лучший способ сделать это.

ПРИМЕЧАНИЕ. Мы не можем использовать хранимые процедуры.

Answer 1

Вы можете использовать несколько входных плагинов (одного и того же типа) в одной конфигурации - как

input { 
    jdbc { 
    jdbc_driver_library => "mysql-connector-java-5.1.15.jar" 
    ... remaining config ... 
    statement => "SELECT * FROM t1;" 
    type => "score-history" 
    } 
} 

jdbc { 
    jdbc_driver_library => "mysql-connector-java-5.1.15.jar" 
    ... remaining config ... 
    statement => "SELECT * from table2" 
    type => "score" 
    } 
} 

Боюсь, что нет никакого способа, чтобы разделить строку соединения, а также другие параметры конфигурации между двумя модулями. Остальная часть обработки может быть различным в зависимости от типа, установленного во входном плагином - например

filter{ 
    if [type] == "score-history" { 
    date { 
    match => [ "sctimestamp", "UNIX" ] 
    } 
    } 
}