Агрегирование, управление и уведомления в журнале приложений

Question

Мне интересно, что все используют для ведения журнала, управления журналами и агрегации журналов в своих системах.

Я работаю в компании, которая использует .NET для всех своих приложений, и все системы основаны на Windows. В настоящее время каждое приложение просматривает свои собственные протоколирования и уведомления о сбоях (например, если приложение A не удастся, он отправит свой собственный «вызов для помощи» администратору).

Хотя эта текущая практика работает немного взломанной и трудно управляемой. Я пытался найти какие-то варианты решений этой работы лучше, и я придумал следующее:

• Log4Net & Chainsaw (ах, если он работает).
• Регистрация с помощью log4net или другой структуры в центральной базе данных & сворачивание собственного инструмента управления.
• Вход в журнал событий Windows и использование MOM или System Center Operations Manager для агрегирования и управления каждым из этих серверов & их приложений.
• Ручное сверло, чтобы сосать все файлы журналов в одну точку и воздействовать на них.

По существу, что мы делаем, это то, что может объединить записи журнала и позволить некоторым аналитикам запускаться через них, а также использовать систему, основанную на событиях, например, для отправки предупреждающего сообщения, когда в течение последних x минут было зарегистрировано более 30 предупреждающих журналов.

Так что я пропустил или что-то еще может предложить?

Answer 1

L4ndash: log4net просмотрщик журналов со свободной версией разработчика.

Answer 2

Проверьте Microsoft Log Parser и examples. Парсер журнала может обрабатывать xml, csv, а также журнал событий Microsoft, реестр и может отправлять информацию на серверы syslog.

Из примера скриншота это, по-видимому, действительно полезный инструмент.

Answer 3

Это зависит от ваших потребностей. Если, например, вы запускаете центр обработки данных и в основном обеспокоены тревожной сигнализацией в реальном времени, вы можете посмотреть на Avicode. Он очень способен, но может быть дорогим.

Если, с другой стороны, вы поддерживаете настольные приложения или журналы с удаленных систем или больше интересуетесь анализом автономных журналов, вы можете взглянуть на Gibraltar. Он обеспечивает приятную комбинацию протоколирования, управления журналом и возможности агрегирования/анализа журналов. Но, честно говоря, я немного неполный - я один из разработчиков Гибралтара.

Answer 4

Если вы можете, я бы рекомендовал писать в EventLog и создавать правила в SCOM для мониторинга. Мы используем это широко, и он хорошо работает, даже с точки зрения компоновки фрагментов кода, которые контролируют определенные элементы наших приложений и записывают значения в журнал событий, где SCOM анализирует ошибки и графически их выводит, а также информационные ошибки, в отчеты, показывающие статистику в течение заданного времени.

Однако я весьма увлечен переписывания некоторые, что в WMI, и с SCOM опрашивать службы WMI для тех же счетчиков, в очереди письма длиной в журнале событий каждые 15 минут кажется немного расточительно;)

Answer 5

log4net является безусловно, место для простой регистрации, которая выводит на самые общие цели. log4net может регистрироваться в журнале событий Windows, а также отправлять сообщения в db, электронную почту или файл. Это довольно тривиально для настройки, и документация довольно хороша.

Answer 6

Я использую log4net и log4view (www.log4view.org). У них есть адаптер TCP, который вы можете распространять как часть своего приложения. Затем вы используете свое клиентское приложение для подключения к различным приложениям, и сообщения журнала отображаются в реальном времени.

Он может контролировать несколько журналов одновременно - до 255, если вы, но коммерческая версия (до потери 50 долларов США).

Он также может работать с RollingFileAppender.

У них есть довольно мощный фильтрующий пользовательский интерфейс, чтобы вы могли вернуться на то, что хотите посмотреть.

Answer 7

Мы использовали MOM с очень хорошим успехом, так как он обрабатывает очистку, просмотр и другие проблемы за пределами ввода данных. Предостережение к MOM заключается в том, что он не делает * NIX из коробки (по крайней мере, у нас есть версия). Есть разъемы и т. Д. Другой вариант - посмотреть в LogLogic. Это берет информацию о журнале с сетевых устройств, но имеет открытый API веб-сервисов, к которому вы могли бы подключиться. У MOM есть API, так что вы можете переходить к чему-то вроде LogLogic.

Answer 8

Я думаю, что у нас есть что-то очень близкое к тому, что вы ищете. logFaces - это журнал, агрегатор и средство просмотра. Он построен специально для более крупных распределенных приложений и многопользовательских сред. Мы собрали все полезные материалы из сервисов регистрации Apache и сделали готовое решение для тех, кто использует log4j, log4net, log4cxx или event log4python. logFaces может работать с основными брендами баз данных и позволит вам быстро отладить проблемы из потока данных журнала, что очень распространено в крупных приложениях. Он также позволит вам видеть фрагменты вашей системы (log-wise) в режиме реального времени. Есть еще много функций, не стесняйтесь попробовать. Если вам нравится, я могу помочь вам с настройкой напрямую, хотя очень просто начать работу сразу после просмотра демонстраций, которые у нас есть.

Disclosure: Я являюсь автором этого продукта.

Answer 9

В моем случае я пытаюсь принять писарь, агрегатор журнала facebook. Facebook и Twitter теперь используют писец.

Answer 10

Для агрегирования журналов, Snare является немного старым, но стоит упомянуть.

Snare Agent for IIS Servers

Я использовал эту старую версию давно, и она работала хорошо экспедирование/отправки/тиражирование журналов IIS по сети через системный журнал.

Сегодня они имеют более новую версию под названием Snare Epilog

код также с открытым исходным кодом; вы можете попробовать.

---

Кроме того, вы можете использовать что-то вроде ELMAH в сочетании с возможностями RSS/электронной почты, чтобы помочь уведомить и предупредить вас о любых важных вопросах.

Answer 11

Мы используем ErrorsDigest Простые агрегации ошибок в реальном времени.

Answer 12

Во-первых, используйте установленную и широко используемую структуру ведения журнала, такую ​​как log4net или NLog.

Оба фреймворка протоколирования могут отправлять сообщения журнала нескольким адресатам, например. к файлу журнала, сетевому потоку (TCP или UDP) или базе данных.

Затем используйте средство просмотра журнала, например Log4View, для визуализации и фильтрации сообщений журнала. Если вы используете Log4View, убедитесь, что вы создаете файлы журнала в формате XML. Хотя Log4View также может анализировать (считываемые человеком) файлы с отформатированным шаблоном, данные в формате XML с форматированием проще настраивать и быстрее анализировать.

Answer 13

На вопрос некоторое время назад, но я думаю, что стоит упомянуть Splunk слишком http://www.splunk.com/

Я использовал его раньше, и это очень удобно.