Проблемы с Graylog при повороте дефлектора

Question

Я испытываю какое-то странное поведение нашей системы grailog производства. Каждый раз, когда сервер graylog циклирует дефлектор (у нас есть предел в 2,5 миллиона документов на индекс), он останавливает индексирование сообщений и вызывает много ошибок индексации.

Из журналов я получаю информацию о том, что он не может создать индекс дефлектора, но не более того, никаких подробностей. Затем Graylog продолжает и пытается записать входящие сообщения в старый индекс, следовательно, ошибки индексирования.

Мы бежим Graylog 1.0.2 и 1.4.5 elasticsearch под CentOS 6.6 x86_64 с использованием ядра 3.10.77-1.el6.elrepo.x86_64

Любая помощь будет высоко оценена как я провел около двух дней отладки это, может быть, мне нужно поднять билет с ошибкой.

Благодарим за помощь!

Sebastian

Answer 1

Для всех, кто может столкнуться с той же проблемой, мы, наконец, решить ее! Сначала у нас была политика хранения в размере 2.500.000 документов/индекса и максимум 50 индексов. Это показалось слишком большим индексом, поэтому мы понизили его, изменив удерживание до 10.000.000 документов/индекса с максимум 15 индексами, но это сделало его еще хуже. Наконец, мы снизили количество документов на индекс и теперь имеем политику хранения 1.000.000 документов/индекса и максимум 150 индексов. Эта настройка работает нормально, и мы не теряем никаких сообщений, которые не имеют проблем при циклировании дефлектора.