Есть ли какой-нибудь план Google BigQuery для реализации поддержки JSON?Родная поддержка JSON для BigQuery?
Я рассматриваю возможность переноса данных о кустах (~ 20T) в Google BigQuery, , но определения таблиц в Hive содержат тип карты, который не поддерживается в BigQuery.
например, HiveQL ниже:
select gid, payload['src'] from data_repository;
, хотя, это можно обойти с помощью регулярного выражения.
Лучше всего использовать все свои типы в csv перед импортом, а если у вас есть сложные поля, разложите их с помощью регулярного выражения в запросе (как вы предложили).
При этом мы активно изучаем поддержку новых форматов ввода и интересуемся обратной связью относительно того, какие форматы будут наиболее полезными. В базовом процессоре запросов есть поддержка (Dremel) для типов, похожих на тип карты улья, но BigQuery, однако, в настоящее время не предоставляет механизм для проглатывания вложенных записей.
С 1 октября 2012 года BigQuery поддерживает разделение на новую строку JSON для импорта и экспорта.
Сообщения в блоге: http://googledevelopers.blogspot.com/2012/10/got-big-json-bigquery-expands-data.html
Документация по форматам данных: https://developers.google.com/bigquery/docs/import#dataformats
Но на сегодняшний день отсутствуют основные операции с пробелом JSON, такие как '[*]': http://stackoverflow.com/questions/ 28719880/BigQuery-jsonpath-значения-оф-JSon-массива –
Всего головы вверх, мы начали поддерживать для JSON приема данных, а также формат экспорта (см googledevelopers.blogspot.com /2012/10/got-big-json-bigquery-expands-data.html) –