Каков наилучший инструмент для анализа файлов журнала?

Question

Я использую Grep для разбора через мою торговлю приложений журналы, но он ограничен в том смысле, что мне нужно визуально трал через выход, чтобы увидеть, что произошло и т.д.

Я интересно, если Perl это лучший вариант? Любые хорошие ресурсы для изучения журнала и анализа строк с помощью Perl?

Я также считаю, что Python был бы хорош для этого. Perl vs Python vs 'grep on linux'?

Answer 1

В конце концов, это действительно зависит от того, сколько семантики вы хотите определить, соответствуют ли ваши журналы общим шаблонам и что вы хотите делать с анализируемыми данными.

Если вы можете использовать регулярные выражения, чтобы найти то, что вам нужно, у вас есть множество опций. Perl является популярным языком и имеет очень удобные родные средства RE. Я лично чувствую себя намного более комфортно с Python и считаю, что небольшая добавленная стычка за выполнение REs не имеет значения.

Если вы хотите сделать что-то более умное, чем RE, или хотите иметь много логики, вам может быть удобнее с Python или даже с Java/C++/etc. Например, его легко читать по очереди в Python, а затем применять различные предикатные функции и реакции на совпадения, что отлично, если у вас есть набор правил, который вы хотели бы применить.

Answer 2

Все языки сценариев являются хорошими кандидатами: Perl, Python, Ruby, PHP и AWK подходят для этого. Использование любого из этих языков лучше, чем просмотр в журналах, начиная с (небольшого) размера.

Wearing Ruby Slippers to Work - пример этого в Ruby, написанный в стиле неповторимого неповторимого стиля. Вот basic example in Perl. Я предлагаю вам выбрать один из этих языков и начать растрескивание.

Answer 3

Я нахожу это list бесценным при работе с любым заданием, которое требует разбора с помощью python.

Я бы не использовал perl для синтаксического анализа больших/сложных журналов - просто для чтения (скорость на perl не хватает для меня (большие задания) - но это, вероятно, мой код perl (я должен улучшить)).

Однако, если grep идеально подойдет вашим потребностям - на самом деле нет причин увязнуть в написании полноразмерного парсера. Самое простое решение, как правило, лучшее, а grep - прекрасный инструмент.

Answer 4

Большое преимущество Perl над Python заключается в том, что при анализе текста можно использовать regular expressions непосредственно как часть синтаксиса языка. Например:

if ($line =~ m/^Regex/) { 
    ... code goes here 
} 

Perl также назначает capture groups непосредственно $ 1, $ 2, и т.д., что делает его очень просто работать. В зависимости от формата и структуры файлов журналов, которые вы пытаетесь проанализировать, это может оказаться весьма полезным (или, если его можно проанализировать как файл с фиксированной шириной или использовать более простые методы, совсем не очень полезно).

Это всего лишь синтаксический сахар, действительно, и другие языки также позволяют использовать регулярные выражения и группы захвата (действительно, связанная статья показывает, как это сделать на Python). Вам просто нужно написать немного больше кода и передать объекты, чтобы сделать это.

Answer 5

Существует программа Perl под названием Log_Analysis, которая делает много анализа и предварительной обработки для вас.

Answer 6

Другая возможная интерпретация вашего вопроса: «Есть ли инструменты, облегчающие мониторинг журналов?», и ответить на это, я бы посоветовал вам взглянуть на Splunk или, возможно, Log4view.

Answer 7

на linux вы можете использовать только оболочку (bash, ksh и т. д.) для анализа файлов журнала, если они не слишком большие по размеру Другие инструменты для работы обычно являются grep и awk. Однако для большей мощности программирования обычно используется awk. Если у вас есть большие файлы для разбора, попробуйте awk.

Конечно, Perl или Python или практически любой другой могут использоваться языки с возможностью чтения файлов и манипулирования строкой.

Answer 8

Изучение языка программирования позволит вам использовать возможности анализа журнала на другом уровне.

Любой динамический или «скриптовый» язык, такой как Perl, Ruby или Python, выполнит эту работу. То, что вы должны использовать, действительно зависит от внешних факторов. Среди вещей, которые вы должны рассмотреть:

• действительно ли работает уже подходящий langauge?
• Знаете ли вы, кто может наставник вы на подходящем языке?
• попробуйте каждый язык немного и посмотрите, какой язык вам подходит лучше.

Лично для этой задачи я бы использовал Perl. YMMV.

Несколько причин любить Perl:

Мощных остроты - если вам нужно сделать реальную быструю, одноразовую работу, Perl предлагает некоторые действительно большие короткие разрезы. См. perlrun -n для примера

Язык с несколькими парадигмами. Perl поддерживает настоятельные, функциональные и объектно-ориентированные методологии программирования.

Sigils - те ведущие знаки пунктуации по переменным, как $foo или @bar. Они немного напоминают венгерскую нотацию, не будучи настолько раздражающими.

Moose - невероятная новая система OOP, которая обеспечивает мощные новые методы OO для составления и повторного использования кода.

Strictures - use strict pragma ловит много ошибок, которые другие динамические языки затушевывают во время компиляции. Я очень скучаю, когда я использую Python или PHP.

Самодисциплина - Perl дает вам свободу писать и делать то, что вы хотите, когда захотите. Это означает, что вам нужно научиться писать чистый код, иначе вам будет больно. К счастью, есть инструменты, которые помогут новичкам. Perl::Critic делает линт-подобный анализ кода для лучших практик.

Answer 9

попробовать Nagios Log Monitoring

Причиной этого инструмента является лучшим для вашей цели это:

Она не требует установки внешних пакетов. Это означает, что нет необходимости устанавливать какие-либо perl-зависимости или любые глупые пакеты, которые могут заставить вас нервничать.

Кривая обучения практически отсутствует. Вам не нужно изучать языки программирования, чтобы использовать его. Все, что вам нужно сделать, это точно знать, что вы хотите делать с журналами, которые вы имеете в виду, и прочитать pdf-файл, прилагаемый к инструменту.

Если журнал вы хотите, чтобы разобрать это в формате системного журнала, вы можете использовать команду:

./NagiosLogMonitor 10.20.40.50:5444 logrobot autofig /opt/jboss/server.log 60m 'INFO' '.' 1 2 -show

Даже если ваш журнал не в признанном формате, он все еще может быть эффективно контролировать с помощью следующей команды:

./NagiosLogMonitor 10.20.40.50:5444 logrobot autonda/опт/JBoss /server.log 60m 'INFO' '.' 1 2 jbosslogs -ndshow

Чтобы проанализировать журнал для определенных строк, замените строку «INFO» на шаблоны, которые вы хотите посмотреть в журнале. Если вы хотите найти несколько шаблонов, укажите их как «INFO | ERROR | fatal».

Если эффективность и простота (и безопасная установка) важны для вас, этот инструмент Nagios - это путь.