Возможно ли получить данные из HTTP-адреса в Logstash?

Question

Как говорится в заголовке, мне нужно передать данные (CSV или JSON) непосредственно в logstash. Я хочу установить фильтр, скажем, CSV, который читает контент непосредственно из некоторого http://example.com/csv.php в Logstash без привлечения какого-либо сценария middleman.

Answer 1

Если я правильно вас понимаю, вы пытаетесь многократно называть ресурс http и извлекать данные в logstash. Таким образом, вы ищете вход, а не фильтр.

Logstash has just released новый http poller input плагин для этой цели. После его установки с помощью bin/plugin install logstash-input-http_poller вы можете установить конфиг, как это назвать свой ресурс:

input { 
    http_poller { 
    urls => { 
     myresource => "http://example.com/csv.php" 
     } 
    } 
    request_timeout => 60 
    interval => 60 
    codec => "json" # set this if the response is json formatted 
    } 
} 

Если ответ содержит CSV вам необходимо установить csv filter.

filter { 
    csv{ } 
} 

Есть также плагины, которые выполняют HTTP-запрос в секции фильтра. Тем не менее, они должны обогащать существующее событие, и это, похоже, не то, что вы ищете.