При создании partitioned table с использованием bq mk --time_partitioning_type=DAY представлены разделы, созданные на основе времени загрузки данных, а не ключа даты в самих данных таблицы?Разделение на основе данных столбцов?
Для создания разделов на основе дат в пределах даты, является ли текущий подход к созданию вручную таблиц с плавающей точкой и загрузка их на основе даты, как в this post с 2012 года?
Да, перегородка создается на основе времени загрузки данных не основан на самих данных
Вы можете использовать раздел декоратора (mydataset.mytable1$20160810), если вы хотите, чтобы загрузить данные в конкретный раздел
За мое понимание, раздел по столбцам что-то что мы должны рассчитывать на поддержку в какой-то момент - но не сейчас
Хорошая новость, BigQuery в настоящее время поддерживает разделение данных типа 3, включая раздел по столбцу. Пожалуйста, проверьте here.
Мне нравится функция: индивидуальная операция может передавать данные в до 2000 отдельных разделов.
Добавление пояснения - сообщение с 2012 года обсуждает создание таблиц с затенением. Вы можете загрузить/добавить/скопировать в определенный раздел таблицы. Таким образом, у вас будет одна таблица, но с несколькими устаревшими разделами: https://cloud.google.com/bigquery/docs/creating-partitioned-tables#restating_data_in_a_partition –
Чтобы подтвердить, я могу создавать и заполнять новые парирования, просто используя адрес $ YYYYMMDD на основе значений столбцов даты? – MattK
это правильно! –