Уменьшить размер индекса SOLr после удаления документов?

Question

У меня есть экземпляр SOLr, где я индексирую большое количество документов с моего клиента, чтобы пользователи могли их искать в веб-приложении.

Поскольку у нас есть большое количество файлов, и нам нужно искать только последние (90 дней или около того), у нас есть запланированное задание, которое удаляет старые документы из индекса.

Проблема в том, что дисковое пространство увеличивается примерно на 2 ГБ в день даже при удалении.

Это нормальное поведение или мы должны сделать что-то большее, чтобы сохранить индекс в стабильном размере?

Мы используем приложение Java для добавления и удаления файлов в индекс.

Answer 1

Исключения будут только отмечать документы как удаленные - они все еще присутствуют в индексе. Поскольку для их удаления потребуется переписать индексные файлы, фактическое удаление не выполняется before you issue an optimize command.

Есть также опция expungeDeletes, когда вы совершаете фиксацию, но, насколько я вижу, лучше вывести оптимизацию вне обычных часов работы. Если вы удаляете документы в ночное время, вы можете опубликовать оптимизацию после удаления или даже более редкие, например, каждый второй или третий день.

Оптимизация требует того же объема на свободном диске, что и индекс (поскольку в худшем случае весь индекс записывается снова).