AWS elasticsearch log rotation

Question

Я хочу использовать AWS elasticsearch для хранения журнала моего приложения. Поскольку для ввода в AWAS elasticsearch (~ 30 ГБ в день) имеется огромное количество данных, поэтому я бы сохранил только 3 дня данных. Есть ли способ запланировать удаление данных из AWS elasticsearch или сделать вращение журнала? Что произойдет, если хранилище AWAS elasticsearch заполнено?

Спасибо за помощь

Answer 1

Возможным способом это указать индекс параметра в elasticsearchвыходе к чему-то вроде logstash -% {APPNAME} -.% {Date_format}» Следовательно, вы можете затем использовать curator plugin для того, чтобы удалить старые индексы по количеству дней или около того.

Это SO в значительной степени объясняет то же самое. Надеюсь, что это помогает!

Answer 2

Предполагаю, что вы используете сервис AWAS Amazon Elasticsearch?

Тип хранилища - это объем EBS с фиксированным размером дискового пространства. Если вы хотите сохранить только последние три дня, я предполагаю, что у вас есть 3 индексов, то, как и

my-index-2017.01.30 
my-index-2017.01.31 
my-index-2017.02.01 

В принципе вы можете написать простой скрипт, который удаляет индексы старше 3-х дней. С REST API он просто находится в Sense DELETE my-index-2017.01.30.

Я рекомендую использовать Elasticsearch Curator для работы. См. https://www.elastic.co/guide/en/elasticsearch/client/curator/current/delete_indices.html

Я не уверен, что для этого интерфейса службы есть опция. Но Elasticsearch куратор должен выполнить эту работу за вас.