Документы в поиске elasticsearch автоматически удаляются?

Question

Я создаю индекс, хотя logstash и выталкивая данные из него из базы данных MySQL. Но то, что я заметил в elasticsearch, было когда-то все данные загружены, он начинает удалять некоторые из документов. Общее количество документов - 160729. Без планировщика он работает нормально.

Я вставил планировщик cron, чтобы проверить, были ли новые строки добавлены в таблицу. Это может быть проблема?

My logstash conf выглядит как this.

Куда я иду не так? Или это обычное поведение?

Любая помощь может быть оценена.

Answer 1

Номер docs.deleted не означает, что ваши документы удаляются, а просто обновляются существующие документы, а старая версия обновленного документа помечается как удаленная в процессе.

Эти документы, помеченные как удаленные, будут в конечном итоге очищены, так как Lucene объединяет сегменты в фоновом режиме.