Экспорт данных из Google Cloud Storage в Amazon S3

Question

Я хотел бы передать данные из таблицы в BigQuery, в другую в Redshift. Мой планируется поток данных выглядит следующим образом:

BigQuery -> Google Cloud Storage -> Amazon S3 -> Redshift

Я знаю о передаче службы Google Cloud Storage, но я не уверен, что это может помочь мне. С помощью Google Cloud документации:

службы передачи Cloud Storage

Эта страница описывает Transfer Service Cloud Storage, который вы можете использовать быстро импортировать данные онлайн в Google Cloud Storage.

Я понимаю, что эту услугу можно использовать для импорта данных в облачное хранилище Google, а не для экспорта из него.

Есть ли способ экспортировать данные из Google Cloud Storage в Amazon S3?

Answer 1

Вы можете использовать GSUtil для копирования данных из ведра Google Cloud Storage с ведром Amazon, используя такие команды, как:

gsutil -m rsync -rd gs://your-gcs-bucket s3://your-s3-bucket 

Обратите внимание, что опция -d выше, будет вызывать GSUtil Rsync удалять объекты ваш ведро S3, которое отсутствует в вашем ковше GCS (в дополнение к добавлению новых объектов). Вы можете оставить эту опцию, если хотите просто добавить новые объекты из своего GCS в свой ведро S3.

Answer 2

Использование Rclone (https://rclone.org/).

Rclone является командной строки программа для синхронизации файлов и каталогов, и из

Google Drive 
Amazon S3 
Openstack Swift/Rackspace cloud files/Memset Memstore 
Dropbox 
Google Cloud Storage 
Amazon Drive 
Microsoft OneDrive 
Hubic 
Backblaze B2 
Yandex Disk 
SFTP 
The local filesystem 

Answer 3

Может быть, я могу предложить вам еще один способ экспорта данных. Используйте инструмент CloudBerry, который вы устанавливаете в Google VW или Amazon EC2a, а затем настройте его для переноса данных с Google на S3. Как вы относитесь к этому?