Bigquery Shard Vs Bigquery Partition

Question

У меня есть таблица с 340 ГБ данных, но мы используем только последнюю неделю данных. Таким образом, чтобы минимизировать планирование затрат, переместите эти данные в таблицу разделов или таблицы осколков.

Я проделал некоторый эксперимент с таблицами и разделами осколков. Я создал таблицу разделов и загрузил данные за два дня (два раздела) и создал две таблицы осколков (отдельные таблицы). Я пытался вытащить данные за последние два дня.

Полная таблица - 27sec Partition Table - 33 сек шарда столы - 91 сек

Пожалуйста, дайте мне знать, какой путь лучше. На основе результата эксперимента быстро выполняется, когда я бегу против полной таблицы, но полная таблица будет сканировать.

Спасибо,

Answer 1

Разница в производительности, кажется, из-за некоторые фоновые оптимизации, которые работают на однораздельную столе, но еще работать на секционированную таблице (так как данные выше).