Как синхронизировать Mysql в Bigquery в реальном времени?

Question

В настоящее время у меня есть сценарий, который сначала удаляет таблицу и загружает таблицу из MySQL в Bigquery. И много раз это провалилось. Плюс он работает только один раз в день. Я ищу некоторое масштабируемое и в реальном времени решение. Ваша помощь будет оценена :)

Answer 1

Читать эти серии сообщений от WePay, где они подробно, как они синхронизировать свои базы данных MySQL в BigQuery, используя Airflow:

• https://wecode.wepay.com/posts/wepays-data-warehouse-bigquery-airflow
• https://wecode.wepay.com/posts/airflow-wepay
• (третий один о BigQuery)

в итоге (цитирую):

• Настройка аутентификации, соединений, DAG.
• Определите, какие столбцы вытащить из MySQL и загрузите в BigQuery.
• Выберите способ загрузки данных: поэтапно или полностью.
• Де-дублирование.