2014-10-09 2 views
0

У меня есть большой файл access.log с примерно 6 месяцами данных и линиями 200K; Я использовал grokdebug, чтобы убедиться, что линии фильтруются правильно и т. Д .; Я сохраняю вывод logstash в Elastic Search v1.1.1.Обработать один гигантский файл access.log

Проблема, которую я замечаю, заключается в том, что создается только один индекс (день запуска агента логстаста), а остальные записи игнорируются; Я прочитал на сайте logstash, что по умолчанию есть один индекс в день; но как я могу сообщить logstash для обработки всего файла (и создать соответствующие индексы для каждого дня)?

Любые предложения будут высоко оценены; Я прочитал документацию, но не смог найти много информации об этом или, может быть, я не смотрю в нужном месте.

ответ

0

По умолчанию поле метки времени установлено на время получения журнала.

Чтобы переписать это с отметкой времени из записи журнала, вы используете 'date' filter.

Смежные вопросы