Могу ли я глотать данные с запятыми, используя Logstash?

Question

Я пытаюсь загрузить данные в Elasticsearch.

Данные находятся в общей папке. Если возможно, я хочу удалить zip-файл, как только я проглотил его в Elasticsearch.

Это файл .zip, который распаковывает к большому гуськом с форматом вида:

#ReferenceID 123das 
#FamilyID  abc 
#ArchiveDate 1483237892226 (datetime in millisecond epoch) 
#SenderID  user1 
#RecipientID user2 
#RecipientID user3 (notice there are more than 1 RecipientID) 
#Content   
This is secret content of the document, and it is not encrypted. 
#EndDoc 

#ReferenceID 123das/1 (The "/1" means 1st attachment) 
#FamilyID  abc   
#ArchiveDate 1483237892227 (datetime in millisecond epoch) 
#SenderID  user1 
#RecipientID user2 
#RecipientID user3 (notice there are more than 1 RecipientID) 
#Content   
This is the secret attachment content 
#EndDoc 

#ReferenceID... 
... 
#EndDoc 

...multiple of these until End of File 

В основном каждый

#ReferenceID... 
... 
#EndDoc 

ли представляющий собой документ, который будет поступать в Elasticsearch

Мой вопрос: это можно сделать, используя Logstash и Beats? Как мне это сделать? Любые указатели оценили.

Answer 1

Файл журнала {} входа Logstash не может обрабатывать сжатый файл. См. github issue.

Filebeat не может ... еще! См. this PR, который, кажется, прокладывает себе путь.

Только FYI, s3 {} вход может.