Большой запрос должен замедляться

Question

Я только начинаю с biquery, моя БД небольшая (10K строк 1 таблица), а мои запросы - простое число и группа. Его занимает и усредняет 3-4 секунды на запрос, но иногда его переходы до 10 и событие 15sec Я запрашиваю сервер amazon linux в Ирландии с помощью инструмента BQ.

Возможно ли получить результаты быстрее (менее 1сек), поэтому я смогу быстрее представить свои веб-страницы.

Answer 1

Это ожидаемое поведение. В BigQuery вы используете общую инфраструктуру, поэтому в зависимости от использования на данный момент вы получите лучшее или худшее время отклика. Фактически пакетные запросы (те, которые не требуют интерактивности) поощряются и вознаграждаются, не добавляя к вашей квоте.

Обычно вы не используете BigQuery в качестве основной базы данных для отображения данных в своем веб-приложении. В зависимости от того, что вы хотите сделать, BigQuery может быть хранилищем больших данных, и у вас должен быть еще один промежуточный магазин, где вы можете хранить вычисленные результаты для отображения вашим пользователям. Или, может быть, в вашем случае использования вам не нужен BigQuery, и есть лучшее решение.

В любом случае вы не сможете избежать нескольких секунд ожидания (даже если вы перейдете на премиум-класс, вы получите больше гарантий об услуге, но ни в коем случае услугу достаточно быстро, чтобы быть вашим основным бэкэнд для webapp)

Answer 2

1) Big Query - это высоко масштабируемая база данных, прежде чем быть «супер быстрой» базой данных. Он предназначен для обработки ОГРОМНОГО объема данных, распределяющих обработку между несколькими различными машинами, с использованием технологии Dremel. Поскольку он предназначен для использования нескольких машин и параллельной обработки, вы должны ожидать, что они обладают супер-масштабируемостью с хорошей производительностью.

2) BigQuery - это актив, когда вы хотите проанализировать миллиарды строк.

Например: анализ всех ревизий в Википедии через 5-10 секунд неплохо, не так ли? Но даже гораздо меньшая таблица займет примерно одно и то же время, даже если имеет 10k строк.

3) Под этим размером вам будет лучше использовать более традиционные решения для хранения данных, такие как Cloud SQL или хранилище данных App Engine. Если вы хотите сохранить возможности SQL, Cloud SQL - это лучшее предположение.

Sybase IQ часто устанавливается в одной базе данных и не использует Dremel. Тем не менее, это будет быстрее, чем Big Query во многих сценариях ... как и было предусмотрено.

4) Конечно, характеристики отличаются от выделенной среды. Вы получаете выделенную среду для 20K $ в месяц.