В SSIS соединение потока данных занимает много времени

Question

Я новичок в SSIS ... Я обновил пакет (с 2008 по 2010 год Visual studio), который подключается к плоскому файлу и выгружает данные в новую таблицу , Я получаю около 25 файлов каждые 5 минут. Проблема заключается в том, что в пакете занимает более 15 секунд для подключения к одному файлу, но передача осуществляется быстро. Поскольку это происходит медленно, есть много файлов, которые остались необработанными. Мой вопрос: Как это сделать быстрее?

Я подумал, что, возможно, повышение градации было проблемой, поэтому я сделал совершенно новый пакет. Затем я попытался подключить только две базы данных, даже там время соединения такое же.

Answer 1

То, что вы описываете, не похоже на проблему соединения, но больше начало чтения и загрузки файла в буфер. Вещи, чтобы рассмотреть был бы:

• расположение файла (сеть IO) - держать его локальным для службы SSIS, если это возможно, или скопировать его на сервер служб SSIS перед запуском его через поток данных
• количество памяти, доступной для SSIS
• сумма памяти, выделенной для потока данных

бы некоторые основные шаги настройки: - Убедитесь, что размеры столбцов на подключение плоского файла являются точными (а не весь набор строки (500) или что-то в этом роде). Это напрямую влияет на то, сколько строк будет обрабатываться за один раз. - Увеличьте значения DefaultMaxBufferRows и DefaultBufferSize в потоке данных, чтобы увеличить количество строк для каждого буфера. . Убедитесь, что ваш пункт назначения oledb настроен на быструю загрузку. Если вы загружаете кучу, убедитесь, что tablock включен. Если вы загружаете кластерный индекс и есть несколько потоков, которые будут обновлять одну и ту же таблицу, убедитесь, что tablock не включен или вы заблокируете себя. В этом случае я бы рассмотрел возможность повторной архитекторизации подхода к последовательной загрузке или использованию многофайлового источника.