Массовая передача всех активов S3 в Google Cloud

Question

Я ищу, чтобы переместить все активы S3 в Google Cloud по целому ряду причин. Тем не менее, у меня есть ~ 25 ведер, с тысячами файлов в каждом. Я знаю инструмент переноса Google Storage - https://cloud.google.com/storage/transfer/getting-started - но это работает только на ведрах по одному. Есть ли что-нибудь, что можно сделать сразу?

Answer 1

Служба Google Cloud Storage Transfer по-прежнему является вашим лучшим выбором, особенно если ваши ведра очень и очень большие.

Если ведра не достаточно большие, чтобы беспокоить его настройку, вы можете использовать GSUtil инструмента командной строки с небольшим количеством сценариев для выполнения этого:

for bucket in bucket1 bucket2 bucket3 bucket4 etc; do 
    gsutil -m cp -r s3://$bucket/* gs://$bucket 
done