Анализировать Cloudwatch Вход Уже вывезенным в S3

Question

Я экспортировал свои журналы Cloudwatch S3, используя процесс найденного здесь:

http://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/S3ExportTasks.html

Теперь у меня есть огромное количество небольших файлов журнал Cloudwatch в S3. Есть ли инструмент, который я могу использовать для их синтаксического анализа/поиска их всего за один раз? Я думаю о чем-то вроде инструмента awslogs, который использовался для их загрузки из Cloudwatch, но ничего не может найти.

Answer 1

Пока они находятся в S3, вы не можете много сделать с ними. Возможно, вы сможете использовать Athena для запроса, но я не уверен, что они будут в правильном формате.

Вы можете развернуть кластер Elastic MapReduce, чтобы проанализировать файлы журнала. Вы можете запускать запросы через EMR или, возможно, использовать EMR для вставки данных в Elasticsearch или Redshift, где вы могли бы запросить данные.

Если вы хотите сделать только grep стиль поиска через эти файлы, вам нужно будет сначала загрузить все файлы, чтобы они были локальными для машины, на которой вы используете инструмент grep.

Answer 2

мне нужно Grep через лога вручную, и нашел способ сделать это:

• Загрузите лога рекурсивны от S3 к локальной директории:

aws s3 cp --recursive s3://<bucket name>/<bucket subdir>/ ./

• Различные потоки в моей группе журналов Cloudwatch из разных приложений с разными форматами временной метки, поэтому grep out, который я хочу рекурсивно, используя zgrep -r.
• Моя файл_журнала линия выглядит следующим образом:

api-api-0f73ed57-e0fc-4e69-a932-4ee16e28a9e6/000002.gz:2017-02-02T22:48:49.135Z [2017-02-02 22:48:49] Main.DEBUG: Router threshold 99.97 [] {"ip":"10.120.4.27"}

• Так используйте sort -sk<key 1>,<key 2> для сортировки на втором и третьем пробельных полей, разделенных ([2017-02-02 и 22:48:49])
• Это дает мне следующее команда:

zgrep -r api-api logfile* | grep "Main.DEBUG" | sort -sk2,3

Из-за следующих question для советов по sort.