Существуют ли какие-либо ограничения по пропускной способности или дросселирование для экстрактов данных Azure SQL Data Warehouse? Существуют ли какие-либо параметры строки подключения, которые оптимизируют, как быстро мы можем извлекать данные с помощью запроса SELECT?Ограничения пропускной способности Azure SQL Data Warehouse?
Из SSIS на виртуальной машине в той же области Azure, что и SQL DW, если я запустил запрос SELECT * для извлечения через миллионы строк OLEDB со строкой подключения по умолчанию (размер пакета по умолчанию), я вижу, что она использует пропускную способность около 55 Мбит/с. Если я добавлю Packet Size = 32767, я вижу, что он использует пропускную способность 125 Мбит/с. Есть ли способ сделать это быстрее? Есть ли другие настройки строки подключения, о которых нужно знать?
Кстати, мне удалось получить около 500 Мбит/с пропускную способность, исходящую от SQL DW, если я запускаю несколько выдержек параллельно. Но я не могу разбить один запрос на несколько параллельных запросов. Иногда мне нужен только один запрос, чтобы быстрее извлекать данные.
Конечно, Polybase CETAS (CREATE EXTERNAL TABLE AS SELECT) намного эффективнее при извлечении данных. Но это не очень хорошо подходит для всех сценариев извлечения. Например, если я хочу разместить Analysis Services поверх Azure SQL DW, я не могу действительно использовать инструкцию CETAS во время обработки куба, поэтому Polybase мне не помогает.