Обработка SSIS большого количества плоских файлов болезненно медленна

Question

От одного из наших партнеров я получаю около 10.000 небольших текстовых файлов с разделителями табуляции с +/- 30 записями в каждом файле. Им невозможно доставить его в один большой файл.

Я обрабатываю эти файлы в контейнере цикла ForEach. После прочтения файла выполняются 4 вывода столбцов, а затем окончательное содержимое сохраняется в таблице SQL Server 2012.

Этот процесс может занять до двух часов.

Я уже пробовал обрабатывать небольшие файлы в один большой файл, а затем импортировал его в ту же таблицу. Этот процесс занимает еще больше времени.

У кого-нибудь есть предложения по ускорению обработки?

Answer 1

Сделайте ли ваши файлы легким способом (т. Е. Их имена), разделяя их на четные (или в основном четные) группы? Если это так, вы можете запускать свои нагрузки параллельно.

Например, предположим, что вы можете разделить их на 4 группы по 2500 файлов каждый.

1. Создайте контейнер для каждой точки для каждой группы.
2. Для вашего адресата для каждой группы напишите свои записи в их собственную промежуточную таблицу.
3. Соедините все записи со всех промежуточных столов в своей большой таблице в конце.

Если сами файлы не предлагают простой способ сгруппировать их, рассмотреть толкая их в подпапки, когда ваш партнер отправляет их, или вставить пути к файлам в базу данных, так что вы можете написать запрос, чтобы разделить их и используйте поле пути к файлу в качестве переменной в задаче потока данных.

Answer 2

Одна вещь, которая звучит противостоять интуитивному, заключается в замене вашей производной трансформации столбца на 4 и каждая из них выполняет одну задачу. Причина, по которой это может обеспечить улучшение производительности, заключается в том, что движок может лучше распараллелить операции, если он может определить, что эти изменения независимы.

• Investigation: Can different combinations of components affect Dataflow performance?
• Increasing Throughput of Pipelines by Splitting Synchronous Transformations into Multiple Tasks

Вы может быть запущен в латентности сети, поскольку вы ссылаетесь файлы на удаленном сервере. Возможно, вы можете повысить производительность, скопировав эти удаленные файлы в локальное поле перед обработкой. Счетчики производительности вы были бы заинтересованы в являются

• Сетевой интерфейс/Текущая Bandwidth
• Network Interface/Всего байт/сек
• Network Interface/Передачи/сек

Другая вещь, которую вы может сделать, это заменить ваш пункт назначения и производный столбец преобразованием числа строк. Запустите пакет несколько раз для всех файлов, и это определит вашу теоретическую максимальную скорость. Вы не сможете идти быстрее. Затем добавьте в свой Derived столбец и снова запустите.Это должно помочь вам понять, связано ли падение производительности с назначением, производная операция столбца или пакет работает так же быстро, как и подсистема ввода-вывода.