Создание резервной копии проекта BigQuery

Question

Интересно, что является лучшей стратегией резервного копирования данных в BigQuery?

До сих пор мы используем BigQuery для хранения множества различных наборов данных, поступающих из разных источников. Мы храним необработанные данные (csv-файлы) в сторону, но повторное создание всего этого от них будет сложной и трудоемкой задачей.

Есть ли способ сделать снимок всех наборов данных/таблиц в проекте?

Answer 1

Таким образом, вопрос здесь в основном имеет смысл, если вы назовете контекст.

BigQuery - это управляемый сервис, поэтому ваши данные реплицируются, и вы доверяете Google Cloud, что он будет доступен все время. В случае сбоя инженеры BigQuery справятся с ситуацией, вы не сможете начать откат или исцеление или что-то еще, поскольку он управляется.

Предположим, что все данные были уничтожены каким-либо образом (основное землетрясение + бомбардировка попадает в несколько центров обработки данных и т. Д.), Ваши данные теряются, если у вас нет источника для сборки снова. Это справедливо и для других данных, которые у вас есть под опекой не только проекта BQ. Возможно, ваши учетные данные вашего генерального директора используются хакером, чтобы уничтожить все ваши резервные копии, а затем ваши текущие экземпляры, следовательно, все данные компании потеряны, и вы не можете восстановить данные обратно в нормальное состояние, так как у вас больше нет резервных копий.

Для того, чтобы быть готовым к катастрофе, когда служба BQ прекращает работу, или Google закрывает ее службу или что-то еще худшее, вам необходимо создать резервную копию для восстановления ваших данных. Достаточно, если вы сохраните свои сырые файлы и сможете их воспроизвести. Обычно мы сохраняем это, так как через несколько лет мы можем рассмотреть возможность переноса всех других данных на другой провайдер, например: Skynet Data Center и т. Д. :), и мы можем использовать их снова, чтобы воспроизвести наше состояние db.

Вы можете export the BigQuery tables и данные в Google Cloud Storage, и вы можете перемещаться оттуда там, где хотите холодное хранение и т. Д. Также вы можете импортировать файлы размером 5 ТБ, если вы хотите их восстановить.