Копирование нескольких файлов в большом объеме между двумя ведрами s3, которые находятся в разных регионах

Question

Мне нужно скопировать большой кусок данных, около 300 ГБ файлов из ведро A, которое находится в нашем восточном регионе и в ведро B, которое находится в юго-восточном регионе. Также мне нужно изменить структуру ведра. Например, мне нужно перетащить файлы в разные папки на ведро B в соответствии с именем изображения, которое находится в ведре A. Я попытался использовать AWS Lambda, но он недоступен на юго-востоке.

Также, сколько это будет стоить, поскольку данные будут переданы между регионами?

Answer 1

Используйте репликацию bucket, а затем создайте еще одно ведро в своей целевой области и выполните манипуляции с объектным ключом S3.

Подробнее о S3 cross-region replication.

Answer 2

Метод

AWS Command-Line Interface (CLI)aws s3 cp имеет команду, которая может быть использована для перемещения объектов между ковшами (даже в разных регионах), и может переименовать их в то же самое время.

aws s3 cp s3://bucket-in-us/foo/bar.txt s3://bucket-in-ap/foo1/foo2/bar3.txt 

Существует также aws s3 sync вариант, который может быть использован для синхронизации контента между двумя ведрами, но это не поможет вашему требованию переименовывать объекты.

Стоимость

передачи данных сборов из регионов США в другой регион показаны на Amazon S3 pricing page в США $ 0.02/GB.