Google BigQuery vs Azure data lake U-SQL

Question

Я пытаюсь понять разницу или «за» и «против» между большим запросом Google и данными Azure Lake U-SQL. Что лучше ? Я исчерпывающе искал то, что большая разница, но не смог найти его.

Answer 1

Хорошо, вот некоторые фундаментальные различия между обеими технологиями.

Форма данных

1. Google большой запрос - они просят вас, чтобы превратить ваши данные в определенные формы, как JSON, CSV или Avro.
2. Данные озера - они просто просят вас сбросить все, что у вас есть, в магазине озера, и вы можете запускать запросы usql сверху.

Размер данных

Google большой запрос имеет ограничения по сравнению с размером файла - https://cloud.google.com/bigquery/loading-data-into-bigquery#quota, хотя они довольно большие ограничения

озеро данных - не имеет официально никаких ограничений по сравнению с размером файла, вы может практически начинаться с файла Petabyte.

Самое большое различие между моделью запроса, но перед этим нужно знать, что вы также можете запускать рабочие нагрузки HBase поверх хранилища данных Azure data, а HBase - это реализация Google большого стола с открытым исходным кодом, многие другие тонкие Вы можете увидеть здесь http://www.larsgeorge.com/2009/11/hbase-vs-bigtable-comparison.html.

Большой запрос Google не является компилируемым запросом как таковым, в то время как USQL представляет собой комбинацию синтаксиса SQL с возможностями CLR, запросы USQL сначала компилируются, а затем запускаются через хранилище данных, что позволяет писать пользовательские функции для использования с их запросами для анализа или работы с формами данных diff. Можно даже визуализировать план выполнения USQL-запроса, используя инструменты Azure data lake. И большой запрос, и USQL довольно легко понять и работать.

Authentication

1. Google большой запрос имеет стандартную проверку подлинности API https://cloud.google.com/bigquery/authentication
2. ADL - Аутентификация приложений и пользователей контролируется Azure AD.

Как большая платформа данных, они требуют уважения, но я лично считаю озеро Azure Data более надежным, поскольку он позволяет гибко работать с проектами с открытым исходным кодом, такими как искра, шторм, улей, свинья и т. Д., В то время как большие таблица ограничивает ваши возможности только экосистемой google.

Connect со мной в моей щебет ручки @brijrajsingh, и если вы можете сделать это делать заскочить в ГИД Бангалоре, я доставку сессии о озерам данных по 29 апреля, 2016