Я ищу способ экспорта моего облачного хранилища данных и импорта его в BigQuery ежедневно. Ручной способ описан в google page. Я не нахожу чистого способа автоматизировать его.Экспорт Google Cloud Datastore и импорт в BigQuery программно
Существует не простой способ сделать это, но вы можете выделить две части: создание резервных копий appengine и их загрузку в bigquery.
Вы можете использовать запланированные резервные копии для периодического создания резервных копий хранилища данных (https://cloud.google.com/appengine/articles/scheduled_backups).
Затем вы можете использовать скрипт приложений для автоматизации части BigQuery (https://developers.google.com/apps-script/advanced/bigquery#load_csv_data) или использовать приложение AppOngine cron для выполнения того же самого.
Опираясь на @ ответ Джордана выше, шаги, чтобы сделать это было бы:
1) Сделать ведро Хранение
2) Экспорт в хранилище данных объектов в этом ведре
3) Открыть Большой запрос Веб-интерфейс и загрузку с использованием пути Google Cloud.
Полный учебник с изображениями доступен по адресу this post.
Можно использовать следующий код. Он в основном использует задания App Engine Cron и BigQuery API.
Хотя эта ссылка может ответить на вопрос, лучше включить здесь основные части ответа и предоставить ссылку для справки. Ответные ссылки могут стать недействительными, если связанная страница изменится. - [Из обзора] (/ review/low-quality-posts/16936811) – Gerry
На прошлой неделе есть правильный способ автоматизировать этот процесс. Самая важная часть - gcloud beta datastore export.
Я создал сценарий вокруг него: https://github.com/chees/datastore2bigquery Вы можете запустить это в задании cron.
Смотрите здесь для демонстрации того, как это работает: https://www.youtube.com/watch?v=dGyQCE3bWkU
Второй, как это загрузить в BigQuery с Google Drive. Можно ли использовать его с Google Cloud Storage напрямую? Спасибо за помощь. –
Я работаю над переписыванием скриптов приложений, но у меня есть сомнения. В примере [https://developers.google.com/apps-script/advanced/bigquery#load_csv_data] используется команда job = BigQuery.Jobs.insert (job, projectId, data); 'и в [doc] (https://developers.google.com/resources/api-libraries/documentation/bigquery/v2/java/latest/com/google/api/services/bigquery/Bigquery.Jobs.Insert. html # Bigquery.Jobs.Insert% 28java.lang.String,% 20com.google.api.services.bigquery.model.Job,% 20com.google.api.client.http.AbstractInputStreamContent% 29) является 'job = BigQuery. Jobs.insert (projectId, job, data); ». –