Поддерживаются ли таблицы шаблонов в BigQuery для массового импорта?

Question

Существует несколько вариантов для loading data into BigQuery: например. bulk import from GCS, streaming и другие.

Во многих случаях необходимо очертить загружаемые данные, например. по дате или произвольным ключом, чтобы создавать меньшие таблицы, которые быстрее запрашиваются, или обойти импортные квоты для каждой таблицы.

В последнее время была введена новая функция template tables, что делает такую ​​передачу очень простой для потоковой передачи: вы просто указываете суффикс имени таблицы, для которого вы хотите передать, на основе записи.

Эта функция BigQuery доступна для других режимов импорта, что наиболее важно для импорта из GCS? Было бы очень полезно импортировать большие объемы данных в BigQuery пошагово, что является распространенным случаем, например. при использовании Cloud Dataflow для пакетных заданий.

Answer 1

Нет, таблицы шаблонов недоступны для массового импорта в это время; логика заключается в том, что, поскольку массовый импорт может создавать таблицы как побочный эффект, это не обязательно.

Для потокового импорта семантика немного сложнее. Поскольку запросы потоковой вставки не указывают схему, если таблица назначения не существует, BigQuery не знает, какая должна быть желаемая схема таблицы. Таблицы шаблонов позволяют потоковой системе искать нужную схему из другого места.

Для массовых нагрузок, однако, схема обычно включается как часть запроса или может быть выведена из данных, поэтому таблицы шаблонов не имеют особого смысла.

Все это говорит о том, что управление многократными таблицами неудобно и надеемся, что некоторые улучшения будут готовы в ближайшее время.