Автоматически передавать данные хранилища данных в таблицы bigquery

Question

Чтобы переместить данные из хранилища данных в таблицы bigquery, я в настоящее время следую ручному и трудоемкому процессу, то есть резервную копию хранилища облачных хранилищ Google и восстановление для bigquery. Существует скудна документация по восстанавливающей части так этот пост удобно http://sookocheff.com/posts/2014-08-04-restoring-an-app-engine-backup/

Теперь есть, казалось бы, устаревшие статьи (с кодом), чтобы сделать это https://cloud.google.com/bigquery/articles/datastoretobigquery

Я был, однако, в ожидании доступа к этому экспериментальная программа тестеров, которая, кажется, автоматизирует процесс, но не получила доступа в течение месяцев. https://docs.google.com/forms/d/1HpC2B1HmtYv_PuHPsUGz_Odq0Nb43_6ySfaVJufEJTc/viewform?formkey=dHdpeXlmRlZCNWlYSE9BcE5jc2NYOUE6MQ

Для некоторых объектов я хотел бы передать данные в большой запрос по мере поступления (вставки и, возможно, обновления). Для более удобного анализа интеллекта, ежедневного толчка отлично.

Итак, что это лучший способ сделать это?

Answer 1

Есть три способа ввода данных в BigQuery:

• через интерфейс
• через командную строку
• через API

Если вы выбираете API, то вы можете иметь два разных способа: «пакетный» режим или потоковый API.

Если вы хотите отправить данные «как есть», вам необходимо использовать потоковый API. Каждый раз, когда вы обнаруживаете изменения в вашем хранилище данных (или, может быть, раз в несколько минут, в зависимости от ваших потребностей), вы должны вызвать метод API insertAll. Обратите внимание, что вам необходимо заранее создать таблицу со структурой вашего хранилища данных. (Это может быть сделано через API, если это необходимо).

Для вашего второго требования, проглатывания данных один раз в день, у вас есть полный код в link you provided. Все, что вам нужно сделать, это настроить схему JSON на схему вашего хранилища данных, и вы должны быть добры.