SSIS проверки данных и очистка

Question

мне нужно сделать, как этот

Клиент помещают данные в папке FTP (данные может быть в этом 3 Формат- .txt, .csv или .xls), пакет SSIS необходим для извлечения данных от ftp и проверить файл данных для правильного формата, например, имя не пустое, телефон 10 цифр, почтовый индекс 5 цифр, адрес не более 20 символов и т. д. и т. д.) После проверки файла данных, если все в порядке, оно должно загрузить файл в dev. базы данных, если нет, мне нужно запустить некоторые запросы на очистку (например, взять первые 5 цифр для zip и т. д.) и загрузить данные, если какой-либо столбец отсутствует, необходимо отправить электронное письмо клиенту с запросом другого файла данных.

До сих пор я выполните эту задачу, вручную импортировав файл и запустив много запросов sql, что требует много времени. Мой менеджер попросил меня написать пакет SSIS для автоматизации этого процесса

Я довольно новичок в SSIS, может кто-нибудь дать мне идею дизайна пакета SSIS (я имею в виду, какую задачу использовать в какой последовательности и т. Д.), Поэтому я могу попробовать и узнать Спасибо за помощь

Answer 1

Вот несколько предложений:

Настройки задача для отправки ошибки, вызванной плохими данными в отдельный файл. Это определит строки проблем, позволяя продолжить работу. Вы также можете использовать условное разделение для перенаправления строк с плохими данными, такими как пустые строки.

Произвольная трансформация столбцов удобна для обрезки, форматирования, фрагментов и данных в кости.

Используйте обработчик событий для отправки электронных сообщений, если данное условие истинно.

Используйте функции ведения журнала. Очень полезно сортировать что-то, что было боком во время сна.