Журналы опроса с logstash (ELK)

Question

У меня есть дилемма, касающаяся опроса/хранения файлов журнала.
Дело в том, что нам нужно отслеживать наши журналы из Cloudhub, объединять их с Logstash и хранить их (возможно, с ElasticSearch).

Anypoint Runtime Manager, как представляется, поддерживает толкание событий сторонним системам, когда они находятся в помещении (а не из облака), поэтому я решил сделать демоверсию для опроса журналов через REST api через плагин http-poller logstash.

Я имею дело с некоторыми решениями, с которыми у меня нет большого опыта.
При опросе вы всегда будете получать последнее количество х журналов за определенный интервал времени. Я предполагаю, что эти параметры будут зависеть от типа журналов, но я все еще задаюсь вопросом, на каком уровне вы будете иметь дело с дублированием извлеченных журналов. И как вы справляетесь с неопределенностью отсутствия в журналах.

Это что-то, что вы будете обрабатывать на уровне хранилища, или это то, что вы бы сразу обработали при логсташе?
Спасибо, что поделились своими мыслями по этому вопросу.

Answer 1

Я не могу сказать, что у меня есть большой опыт в этом вопросе, но это то, что я думаю.

Я думаю, что если Logstash будет работать как служба, он будет больше зависеть от вывода API для обработки дубликатов.

В то же время, если вы определяете уникальный идентификатор в ответе, вы можете указать Logstash избежать дубликатов.

От Change ID in elasticsearch

elasticsearch { 
    host => yourEsHost 
    cluster => "yourCluster" 
    index => "logstash-%{+YYYY.MM.dd}" 
    document_id => "%{someFieldOfMyEvent}" 
}