Logstash траверс s3 дерево каталогов для журналов

Question

У нас есть около четырех лет стоит наших журналов хранятся на Amazon S3 в ведре в формате

BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server1.log 
BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server2.log 
BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server3.log 

т.д.

И наша цель состоит в том, чтобы используйте эти данные для повторной засыпки и индексирования журналов, идущих вперед, используя Logstash, поэтому мне было интересно, есть ли способ сообщить плагин ввода s3 для поиска всех журналов в папках в указанном префиксе, аналогично:

"path" => "/path/logs/blah/**/*.log 

Если у вас нет способа сделать это с помощью s3 plugin, разрешите ли вы решить подобную проблему?
Идеал был бы способен справиться с процессом и поддерживать его как можно ближе к реальному времени (что означает, что я бы хотел избежать того, что мне нужно вручную скопировать журналы во внешнее местоположение и запустить скрипт для обновления индекса)

Answer 1

У меня была аналогичная проблема. Решение, которое я нашел, следующее.

1. Установите ведро S3 в качестве съемного диска в локальной файловой системе.
2. Используйте плагин ввода file, чтобы индексировать файлы целевого журнала.

Используя этот подход, не требуется ручное копирование и запуск сценариев. Индексирование выполняется на фоне.

Существует несколько клиентских приложений S3, которые помогают монтировать ведро S3 в качестве локального диска (например, TntDrive). Однако все они являются коммерческим программным обеспечением. Пока я не нашел бесплатного приложения.

Моя операционная система - Windows 7, и я использовал TntDrive для монтирования S3-ведра в свою локальную файловую систему.