Экспорт ntopng log to logstash

Question

Я знаю, что ntopng может помещать прямо в elasticsearch, но мой босс хочет использовать logtash как слой для переноса журнала в elasticsearch.

Я стараюсь много раз, но не смог.

ntopng войти как:

{"index": {"_type": "ntopng", "_index": "ntopng-2016.08.23"}} 
{ "@timestamp": "2016-08-23T01:49:41.0Z", "type": "ntopng", "IN_SRC_MAC": "04:2A:E2:0D:62:FB", "OUT_DST_MAC": "00:16:3E:8D:B7:E4", "IPV4_SRC_ADDR": "14.152.84.14", "IPV4_DST_ADDR": "xxx.xxx.xxx", "L4_SRC_PORT": 34599, "L4_DST_PORT": 53, "PROTOCOL": 17, "L7_PROTO": 5, "L7_PROTO_NAME": "DNS", "IN_PKTS": 15, "IN_BYTES": 1185, "OUT_PKTS": 15, "OUT_BYTES": 22710, "FIRST_SWITCHED": 1471916981, "LAST_SWITCHED": 1471916981, "SRC_IP_COUNTRY": "CN", "SRC_IP_LOCATION": [ 113.250000, 23.116699 ], "DST_IP_COUNTRY": "VN", "DST_IP_LOCATION": [ 105.849998, 21.033300 ], "NTOPNG_INSTANCE_NAME": "ubuntu", "INTERFACE": "ens192", "DNS_QUERY": "cpsc.gov", "PASS_VERDICT": true } 

Logstash конфигурации:

input { 
    tcp { 
    port => 5000 
    codec => json 
    } 
} 
filter{ 
    json{ 
     source => "message" 
    } 
} 
output { 
    elasticsearch { 
    hosts => ["localhost:9200"] 
} 
stdout{ codec => rubydebug } 
} 

Благодаря

Answer 1

Поскольку журналы ntopng уже в объемном формате, ожидаемый Elasticsearch вам не нужно использовать вывод elasticsearch, но вы можете использовать вывод http прямо следующим образом. Не нужно, чтобы Logstash анализировал JSON, просто пересылайте команды сырой массы в ES.

Однако есть один улов: нам нужно добавить символ новой строки после второй строки, иначе ES отклонит массовый вызов. Мы можем добиться этого с помощью фильтра mutate/update, который добавляет дословный символ новой строки после message. Попробуйте, это сработает.

input { 
    tcp { 
    port => 5000 
    codec => multiline { 
     pattern => "_index" 
     what => "next" 
    } 
    } 
} 
filter{ 
    mutate { 
    update => {"message" => "%{message} 
"} 
    } 
} 
output { 
    http { 
     http_method => "post" 
     url => "http://localhost:9200/_bulk" 
     format => "message" 
     message => "%{message}" 
    } 
}