Как форматировать журналы в файлеbeat

Question

Я очень новичок в filebeat и elasticsearch. Я занимаюсь хобби, и я хочу разобрать мои файлы данных. каждый из файлов данных содержит информацию, как это указано ниже формате,

<name> 
<question> 
<ans1> 
<ans2> 
<ans3> 
..etc 

Я хочу, чтобы прочитать эти данные и хранить в эс как

{ 
id : <separate_id_for_each_file>, 
name: <name>, 
question: <question>, 
ans1: <ans1>, ..etc 
} 

Как я могу сделать это с filebeat?

Answer 1

На данный момент вы не можете сделать это с помощью filebeat. Вам необходимо будет отправить свой журнал на номер logstash, а затем преобразовать его с помощью плагина, например grok, а затем отправить его на эластичный, если вы хотите добавить идентификатор в журнал, вы можете использовать что-то вроде плагина uuid, прежде чем отправлять его в grok , Filebeat стремится только стать ведьма урожай будет читать журналы и отправить затем вперед

Таким образом, ваш поток будет что-то вроде: filebeat> LOGSTASH [UUID, ГРКИ]> ElasticSearch

Если вам нужны примеры шаблонов ГРКОВ , это может быть полезно: Коллекция шаблонов ГРОК: https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns

Grok модель тестера: http://grokconstructor.appspot.com/do/match