0

У меня есть экземпляр большой таблицы Google, который необходимо заполнить данными, находящимися в базе данных Postgres. Моя группа продуктов дает URL-адреса, которые позволяют мне реплицировать базу данных. Поэтому, используя простые слова, мне нужно дублировать базу данных Postgres в экземпляр google и способ, которым моя команда продуктов дает мне, использует этот URL-адрес, как я могу это сделать? любой учебник, который может мне помочь?Как заполнить экземпляр большой таблицы google данными с помощью внешнего URL-адреса?

+1

Насколько велика база данных Postgres? Каковы требования к производительности? Вы рассматривали некоторые другие варианты облачного хранилища? См. Https://cloud.google.com/docs/storing-your-data для обзора опций на основе вашего использования. –

+0

Тим, база данных Postgres составляет около 10 ГБ. Что происходит, так это то, что у нас есть несколько таблиц, связанных с запросами, которые слишком долго возвращают результаты при их выполнении (иногда мы просто получаем ответ на таймаут). Поэтому мы планируем создать зеркальную базу данных, где команда BI может лучше управлять данными, эта база данных зеркал будет находиться в облачной платформе Google. Спасибо, за ссылку у нас уже есть обзор – gustavotroconis

+0

@gustavotroconis - для базы данных размером 10 ГБ вы, вероятно, захотите использовать PostgreSQL для Google Compute Engine, а не Bigtable (что рекомендуется для наборов данных в диапазоне TB). Я добавил нижеприведенный ответ с некоторыми подробностями для потенциального решения вашего проекта. –

ответ

1

Если вы уже используете PostgreSQL и хотите иметь зеркало в облачной платформе Google, лучшим и простым способом может быть запуск собственного экземпляра PostgreSQL на виртуальной машине Google Compute Engine, которая может быть выполнена с помощью нескольких подходов, например,

Затем вы хотите непрерывно отражать данные из вашего локального экземпляра к экземпляру PostgreSQL в Google Cloud, чтобы иметь возможность запрашивать его. Another SO answer предполагает, что существует два основных подхода к этому:

  • Master/Мастер репликации (Bucardo)
  • Master/репликации Подчиненный (Slony)

Основываясь на Вашем случае, когда вы хотите, чтобы ваш локальный экземпляр PostgreSQL был каноническим и просто копировал в Google Cloud для его запроса, вам нужна репликация Master/Slave и экземпляр PostgreSQL быть репликой только для чтения, поэтому вы, вероятно, захотите использовать подход Slony.

Для более глубокого изучения решений PostgreSQL для обеспечения высокой доступности, балансировки нагрузки и репликации см. Раздел comparison in the manual.