Итак, у нас есть журналы (apache, tomcat и т. Д.), Хранящиеся в журналах Amazon CloudWatch. Я пытаюсь использовать Logstash для индексации из AWS и отправки их в Elasticsearch/Kibana.Пытается использовать Logstash для индексации журналов Cloudwatch
Я не могу найти плагин для этого. Кто-нибудь пробовал это и был успешным? Мне не нужны метрики, только журналы, хранящиеся в журналах AWS.
Как уже pointed out от BMW, AWS только что представил специальный CloudWatch Logs Subscription Consumer, который обеспечивает доступ одним кликом к полному стеклу CloudWatch Logs + Elasticsearch + Kibana с помощью соотв. AWS CloudFormation, как дополнительно показано в introductory blog post.
Учитывая, что у вас, похоже, есть ELK-стек, он не должен быть слишком сложным, чтобы настроить AWS sample template, чтобы вместо этого нацеливать ваши собственные конечные точки.
Спасибо. Я собираюсь расчесывать его и видеть, как я могу исключить часть ES/kibana и прикрепить ее к моим конечным точкам. – Gabriel
Учебник связан немного сложнее, чем я думал. Нужно ли это кинези? – Gabriel
И я скопировал новые информационные панели, и теперь я не могу добраться до своего ES-сервера в Кибане. Говорит, что соединение не выполнено, но ES запущен. – Gabriel
Для того, чтобы использовать шаблон CloudFormation (в соответствии с ответом BMW), его необходимо настроить, часть которого будет предоставлять идентификатор вашей учетной записи и регион как CF Resource. AWS:: AccountId и AWS:: Region - псевдо-параметры, которые возвращают идентификатор учетной записи AWS учетной записи, в которой создается стек, например 123456789012, и строку, представляющую регион AWS, в котором создается ресурс, таких как us-west-2. (http://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/pseudo-parameter-reference.html)
Другие плакаты отметить, что шаблоны CloudFormation доступны, которые будут транслировать журналы на Amazon Elasticsearch, но если вы хотите, чтобы пройти через Logstash первых, это logstash плагин может быть вам полезен:
https://github.com/lukewaite/logstash-input-cloudwatch-logs/
Этот плагин позволяет собирать определенные группы журналов CloudWatch или группу групп, которые соответствуют префиксу в конвейере Logstash, и работать с данными так, как вы. Он публикуется на RubyGems и может быть установлен как обычный плагин Logstash: bin/logstash-plugin install logstash-input-cloudwatch_logs.
его лучшее, если вы скопируете esencial в свой ответ, но сохраните ссылку. – MZaragoza
как об этом https://github.com/awslabs/cloudwatch-logs-subscription-consumer и https://github.com/awslabs/cloudwatch-logs-subscription-consumer/blob/master/configuration/cloudformation/ cwl-elasticsearch.template – BMW
Спасибо! Я проверю это. – Gabriel
, поэтому я пытаюсь использовать этот шаблон как есть, просто чтобы посмотреть, как он работает с кинезисом. Я получаю «ошибку проверки шаблона: ошибка формата шаблона: неразрешенные зависимости ресурсов [AWS:: AccountId, AWS:: Region] в блоке« Ресурсы »шаблона». Есть идеи? – Gabriel