Инструменты для сокращения больших файлов журналов

Question

Я работаю с огромными файлами журнала - 1 ГБ или около того, чтобы иметь много пользовательских сеансов, в то время как я забочусь только об одном сеансе.

Обычно я могу сузить общую область файла, который охватывает сеанс, на который меня интересует, просто ищет идентификатор сеанса (занимает 2 + минуты). После этого я хочу удалить данные до и после событий, которые произошли в сеансе пользователя, чтобы ускорить мои последующие поиски (потому что теперь я сузил область интереса).

Мне нравится загружать огромные файлы журналов в google chrome и использовать функцию подсветки поиска, которая отображает область интересов с маркерами на полосе прокрутки, но на самом деле она не работает с файлами размером более 200 МБ и не позволяет мне для удаления ненужных частей журналов для ускорения последующих поисков.

Я предполагаю, что это распространенная проблема. Если бы я мог найти такой инструмент, это было бы огромным временем.

Спасибо.

Answer 1

Многие инструменты командной строки unix помогают в этом. Особенно grep позволяет находить строки, содержащие некоторую строку или шаблон (идентификатор сеанса). По умолчанию он возвращает строку, но я также могу вернуть n строк до или после.

Answer 2

Splunk - отличный инструмент для мониторинга и анализа журналов. Возможно, это покрывает немного больше оснований, чем вам может понадобиться, но это определенно стоит взглянуть. Доступна бесплатная лицензия, которая ограничена 500 МБ/день и корпоративной лицензией, если вы хотите изо всех сил (license comparison table).