Таблицы с разбивкой по дате в BigQuery?

Я пытаюсь создать date-partitioned + template таблицы в BigQuery:Таблицы с разбивкой по дате в BigQuery?

Создание базовой таблицы с помощью bq mk --time_partitioning_type=DAY myapp.customer
вызовов API insertAll с "tableId": "customer", "templateSuffix": "_activated"

Результирующая customer_activated таблицы наследует схему из customer таблицы , но не имеет timePartitioning.

Как я могу обеспечить, чтобы таблицы шаблонов наследовали временное разбиение базовой таблицы?

2016-06-25 Richard Dingwall

Streaming API, пока не поддерживает финиковое разделение
Вашего варианта заключается в использовании задания нагрузки с разделой в качестве пункта назначения для начальной популяции, а затем просто использовать потоковый непосредственно в таблицу (без перегородок), и пусть BigQuery сделать ряд выводов раздел временной метки

в противном случае вы должны ждать, когда потоковое будет поддерживать дата-секционирования, который команда Google упоминается произойдет в ближайшем будущем

Update:

С около середины 2017 года BigQuery поддерживает Streaming into partitioned tables

источник

2016-06-25 19:59:27

Вы знаете текущее состояние потокового поддерживающий финиковой секционирования (по состоянию на июль 2017 года)? –

@BrianLeach - теперь поддерживается - с некоторыми ограничениями - при потоковой передаче с использованием декоратора разделов вы можете переходить на разделы за последние 30 дней в прошлом и 5 дней в будущем относительно текущей даты на основе текущего времени UTC - https://cloud.google.com/bigquery/streaming-data-into-bigquery#streaming_into_partitioned_tables. btw, подумайте над этим ответом, как будто он вам помог (я думаю), чтобы найти то, что вы искали: o) –

С удовольствием рассмотрим ответ, пожалуйста, рассмотрите его, чтобы отразить текущее состояние библиотеки –

Для людей, приезжающих сюда в будущем, принятый ответ устарел. BigQuery Streaming API, поддержка дата-таблицы разделов теперь, как к столу и к определенному разделу

Link to docs

источник

2017-12-11 17:06:01 garcianavalon

Таблицы с разбивкой по дате в BigQuery?

ответ

Смежные вопросы