2010-09-13 5 views
3

Наш магазин в значительной степени опирается на SSIS для запуска наших задних процессов и задач базы данных. В целом, у нас есть сотни рабочих мест, и по большей части все работает эффективно и плавно.Мониторинг и отчетность служб SSIS

В большинстве случаев у нас есть сбой задания из-за сбоя внешней зависимости (данные недоступны, файлы не доставлены и т. Д.). Прямо сейчас, наш процесс настроен для отправки нам по электронной почте каждый раз, когда работа завершается с ошибкой. SSIS создаст электронное письмо, в котором нам будет отправлено имя задания и его неудача.

Я ищу для создания приборной панели, чтобы лучше контролировать этот процесс. Я знаю, что ту же самую информацию, доступную в окне истории заданий из SSIS, также можно получить, запросив базу данных msdb. Я хочу настроить центральное расположение для отчетов об ошибках (возможно, используя службы SQL Reporting Services), а также более интеллектуальную систему оповещения по электронной почте.

Неужели кто-то еще справился с этой проблемой? Если да, то какие процессы/отчеты вы создали вокруг процедур SSIS для оптимизации уведомления о неудачах или оповещениях о работе?

ответ

1

У нас есть аналогичная установка в нашей компании. В первую очередь мы полагаемся на то, что задание уведомляет нас о проблемах, и у нас есть сотрудники, которые проверяют статус работы в определенное время, чтобы убедиться, что все работает правильно, и ничего не было упущено.

Моя команда получает отчет об активности работы агента SQL Server каждое утро в 6 утра и 4 вечера, в котором перечислены все неудавшиеся задания наверху, выполняемые задания ниже этого и все остальные задания ниже, которые группируются в ежедневные, еженедельные, ежеквартально и других категорий. Мы по существу контролируем задания агента SQL Server, а не сами пакеты SSIS. Мы полагаемся на категории вакансий и соглашения об именовании заданий для автоматизации группировки в отчете.

У нас есть аналогичная настройка для мониторинга подписки на SSRS. Тем не менее, мы отслеживаем только один раз в день, так как большинство наших подписчиков запускаются примерно с 3 утра до 4 утра утром. Отчет о деятельности по подписке SSRS идет на один шаг дальше, чем отчет о работе с заданием агента SQL Server, поскольку он имеет ссылки на экран подписки для отчета и имеет больше встроенных в него обработки исключений.

Помимо использования отчетов, у нас также есть несколько заданий, которые предназначены для уведомления оператора по электронной почте после завершения задания, а не после отказа работы. Это позволяет быстро проверить, успешно ли выполнялись все основные процессы ETL. Это своего рода ранний индикатор состояния системы. Если мы не получили это письмо к моменту поступления первого члена команды в офис, то мы знаем, что что-то не так. У нас также есть ряд заданий, которые будут работать с ошибкой задания, если определенные источники данных не были загружены в определенное время. Раньше у меня был кто-то, кто работал с ранней сменой, я использую, чтобы проверять свой iPhone на электронную почту в любое время, когда я проснулся посреди ночи (что случилось много с тех пор, как у меня родился новорожденный ребенок). В редких случаях, когда я не получил сообщение с сообщением о завершении, или я получил сообщение об ошибке на этапе работы, я зашел на свою машину через удаленный рабочий стол, чтобы проверить статус заданий.

Я считал, что наши реселлеры центров обработки данных проверяют состояние серверов, запуская отчет каждое утро в 4 часа ночи, но в конце концов я решил, что это не будет необходимо, так как у нас есть человек, который начинает работать в 6 утра. Основная проблема, с которой я столкнулся в реализации этого процесса, заключается в том, что наш ETL меняется со временем, и мне было необходимо поддерживать документацию о том, как правильно проверить работу и как эскалировать уведомления моей команде, когда была обнаружена проблема. Я был бы готов сделать это, если бы процессы были запущены посреди ночи. Тем не менее, наш ETL работает каждый час дня, поэтому, если рано утром мы начнем все основные процессы ETL, мы все равно закончим загрузку нашего хранилища данных и публикацию отчетов до того, как кто-нибудь отправится в офис.Кроме того, по какой-то причине наш офис начинает ДЕЙСТВИТЕЛЬНО поздно, поэтому люди обычно не запускают наши отчеты в интерактивном режиме до 9 утра.

0

Если вы не хотите делать общую сборку, вы можете использовать https://cronitor.io для мониторинга рабочих заданий.

Смежные вопросы