Где я могу экспортировать журналы AWS Cloudwatch (для Loggly)?

Question

Я знаю, что они где-то хранят. Может, ведро DynamoDB или S3?

Я хотел бы использовать Cloudwatch как архив журнала для моих экземпляров EC2, и настроить его так, что они передаются Loggly для просмотра/сортировки/и т.д.

Я знаю Loggly недавно выпустила путь к (https://www.loggly.com/docs/s3-logs/), но я не могу найти источник этих журналов на стороне AWS.

Мои мысли до сих пор являются:

• Может быть, я мог настроить Metric/Alarm, чтобы передать все входящие журналы Loggly?
• Я мог бы получить доступ к тому месту, где AWS хранит эти журналы Cloudwatch?
• Настройте cron где-нибудь, который отскакивает от журналов Cloudwatch до ведра S3 и отходит оттуда?
• Использование Cloudwatch вызовов API в хрон непосредственно захватить журналы и отправить их в Loggly через HTTP POST и т.д.

Answer 1

Этот API позволит вам экспортировать данные в S3, однако, обратите внимание, что это для исторических данных не в режиме реального времени ... данных до нескольких часов старые не будут доступны для экспорта, поэтому наиболее полезным для ежедневных выписок: http://docs.aws.amazon.com/AmazonCloudWatch/latest/DeveloperGuide/S3Export.html

для доставки в реальном времени вы хотели бы использовать API подписки: http://docs.aws.amazon.com/AmazonCloudWatch/latest/DeveloperGuide/Subscriptions.html

Answer 2

Кажется, что Loggly не поддерживает подобную услугу.

Согласно Loggly Log File Monitoring Options у вас есть такие варианты:

1. Опция

   • установки новый экземпляр с cronjob для синхронизации журнала с S3 на локальный диск.
   • Установите службу rsyslog и отправьте этот файл журнала в Loggly.

2. Опция

   • Использование Loggly File Upload том, как и нажать файл журнала с завитка POST.

   локон -X POST -T FILE.TXT https://logs-01.loggly.com/bulk/TOKEN/tag/file_upload

С уважением.

Answer 3

Я сделал это, создав подписку на журнал групповой, который запускает функцию лямбда. Функция преобразует данные журнала и записывает ее как файл .log на S3 или отправляет записи в Kinesis Firehose для коллекции, а затем на S3 в качестве архива.

Вы можете проверить full writeup или просто Lambda Function, если вы пытаетесь сделать что-то подобное.