Есть ли способ улучшить извлечение из AS400 с использованием параллелизма с SSIS ETL?SSIS ETL параллельное извлечение из файла AS400
Я переношу DTS в ETL, но производительность настолько плохая ... очевидно, что-то можно сделать, чтобы хотя бы соответствовать производительности (по времени) DTS. Но я понятия не имею, как (совершенно новый об этом)
Любые советы, пожалуйста?
Параллелизм в SSIS обычно выполняется путем записи пакета для выполнения нескольких операций в одном и том же пространстве (т. Е. Два потока данных без какого-либо контроля).
Теоретически вы можете разделить свой запрос на это (разделить данные пополам и иметь условие для каждого потока?). Не зная ничего о внутренней стороне AS400, я не мог сказать вам, стоит ли это делать. Потенциально вы могли одновременно запускать выдержки из разных таблиц.
Я не верю, что возможно параллельное извлечение из одного файла. Если вы можете использовать прямое соединение ODBC с AS400, это может привести к увеличению производительности при попытке настроить процесс экспорта/импорта файлов.
Существует около пяти компонентов для определения узкого места: 1. Запрос источника AS400, возвращающий записи; 2. Сеть между AS400 и сервером SSIS; 3. Сам пакет SSIS; 4. Сеть между SSIS Server и SQL Server (обычно это локально, хотя); 5. Вставка в SQL Server. Единственный способ, которым вы можете считать SSIS, медленнее, если вы сохранили элементы 1,2,4,5 одинаковые после обновления до SSIS. Это правда? Каждый из этих элементов имеет более подробную информацию, то есть драйвер, который вы используете для извлечения данных из AS400. –
. Вы можете создать несколько меньших файлов и импортировать их с параллельными потоками данных. –
Каков исходный запрос AS400. Не обращайте внимания на исходный запрос AS400 с представлением SQL на AS400. Затем вытащите из представления SQL. – danny117