Redshift к Azure Data Warehouse CopyActivity Issue - HybridDeliveryException

Question

Факты:

-Я работает в заводское Pipeline Azure Data между AWS Redshift -> Azure хранилища данных (поскольку мощность BI Online Service не поддерживает RedShift от это сообщение дата)

-Я использую Polybase для копии, так как мне нужно пропустить несколько проблемных строк. Я использую ключ "rejectValue" и даю ему целое число.

-I сделал два прогона активности и получил различные ошибки при каждом запуске

Выпуск:

Run №: 1 Ошибки

операции базы данных не удалась. Сообщение об ошибке из выполнения базы данных: ErrorCode = FailedDbOperation, 'Type = Microsoft.DataTransfer.Common.Shared.HybridDeliveryException, Message = Ошибка при загрузке данных в хранилище данных SQL., Source = Microsoft.DataTransfer.ClientLibrary,' 'Type = System. Data.SqlClient.SqlException, Message = org.apache.hadoop.io.Text не может быть передан в org.apache.hadoop.io.BooleanWritable, Source = .Net Поставщик данных SqlClient, SqlErrorNumber = 106000, Class = 16, ErrorCode = - 2146232060, State = 1, Errors = [{Class = 16, Number = 106000, State = 1, Message = org.apache.hadoop.io.Text не может быть добавлено в org.apache.hadoop.io.BooleanWritable,},] ".

Run No: 2 Ошибка

операция базы данных не удалось. Сообщение об ошибке из выполнения базы данных: ErrorCode = FailedDbOperation, 'Type = Microsoft.DataTransfer.Common.Shared.HybridDeliveryException, Message = Ошибка при загрузке данных в хранилище данных SQL., Source = Microsoft.DataTransfer.ClientLibrary,' 'Type = System. Data.SqlClient.SqlException, Message =, Source = .Net SqlClient Data Provider, SqlErrorNumber = 106000, Class = 16, ErrorCode = -2146232060, State = 1, Errors = [{Class = 16, Number = 106000, State = 1, Message =,},], '.

Answer 1

Power BI Online Service поддерживает Redshift через ODBC и шлюз данных по помещению (https://powerbi.microsoft.com/en-us/blog/on-premises-data-gateway-august-update/). Вы можете установить последнюю версию на виртуальную машину Windows в Azure или AWS.

Redshift ODBC Drivers здесь: http://docs.aws.amazon.com/redshift/latest/mgmt/install-odbc-driver-windows.html

В противном случае, ваша ошибка указывает на то, что один столбец вашего SQL DW таблицы не имеет ожидаемый тип данных (вы, вероятно, BIT, где CHAR или VARCHAR должна быть

.

Answer 2

Ниже ответ от команды продукта Azure Data Factory:

Как Alexandre упоминалось, ошибка # 1 означает, что у вас есть текстовый оцененный столбец на исходном Redshift где соответствующий столбец в SQL DW имеет тип бита вы должны. иметь возможность разрешить ошибку, создав два типа столбцов совместимы друг с другом.

Ошибка №2 является еще одной ошибкой десериализации полибазы. К сожалению, сообщение об ошибке недостаточно ясно, чтобы выяснить причину. Однако недавно команда разработчиков внесла некоторые изменения в формат промежуточной загрузки для нагрузки Polybase, поэтому вы больше не видите такую ​​ошибку. У вас есть идентификатор фабрики Azure Data Factory для неудавшегося задания? Команда разработчиков могла бы взглянуть.