Azure SQL Data Warehouse

Question

Было бы хорошо, если бы я знал различные способы загрузки данных в хранилище данных Azure SQL Data Warehouse.

Я мог подключиться к Azure SQL DW, используя JDBC с моей машины Ubuntu.

1. Есть ли какой-либо прямой способ загрузки из хранилища Azure Blob в Azure SQL DW без использования Azure Data Factory?

2. Способы загрузки данных из Ubuntu в Azure SQL DW.

3. API Java для связи с Azure.

4. Непосредственная загрузка данных из HDInsights в SQL DW.

Благодаря

Answer 1

этот намек немного сумасшедшим, но он будет работать. взять локальный сервер sqm vm и настроить транзакционную репликацию Azure SQL DB. ->https://channel9.msdn.com/Shows/Data-Exposed/Azure-SQL-DB-Transactional-Replication

Идет таким образом, чтобы заполнить ваш лазурный sql db. вам нужно подключить ubuntu (JDBC), чтобы вставить весь контент на сервер sql. Это позволит реплицировать ваши данные на azure sql db. И лазурь БД SQL может быть легко перенесены в лазурной SQL ВЕС с двумя ступенями ;-)

https://azure.microsoft.com/en-us/documentation/articles/sql-data-warehouse-get-started-provision/

вашу пользу, вы подключаетесь с низкой задержкой на локальный сервер SQL и просто ждать, пока транзакционной репликации не будет сделано. ;-)

С уважением Патрик

Answer 2

Самым лучшим и быстрым способом загрузки данных в Azure SQL DW является использование Polybase для загрузки разграниченных плоских файлов, сидя в Azure Blob Storage. См. Описание Полибазы here.

Для загрузки из HDInsight предположим, что вы можете использовать SQOOP (хотя я еще не пробовал загрузить Azure SQL DW), но лучший подход заключается в том, чтобы записать HDInsight в плоский файл (например, вставив во внешнюю таблицу в Hadoop), а затем с помощью Polybase в Azure SQL DW для чтения файлов.

Извините, я не могу помочь по вашим другим вопросам о Java и Ubuntu.