Копирование S3 ведра в другое ведро слишком медленно, используя следующую команду:Копирование ведро s3 в другое ведро происходит слишком медленно, как я могу сделать это быстрее?
aws s3 cp s3://bucket1 s3://bucket2 --recursive
Использования awscli. Но это слишком медленно. Потому что мой bucket1 содержит слишком много файлов. Только 3 000 000 изображений копируются за 12 часов.
Ищете рекомендации, которые помогут ускорить процесс копирования.
Вы можете использовать этот скрипт с многоканальными нитями:
Как было предложено ранее, упомянутые методы рекомендуются для передачи огромного количества данных из источника в пункт назначения.
Кроме того, вы также можете включить функцию ускорения переноса Amazon S3 на ведре (Это будет понести некоторые расходы), но это будет ускорить скорость передачи данных до 100%
@Murtaza_Kanchawala делает это применительно к внутреннему переводу региона в регион? Причина, о которой я прошу, заключается в том, что я получаю только 16 Мбайт/с, недостаточно быстро .... –
@TedTaylorofLife это применимо для кросс-региона, и вы должны активировать ускорение передачи Amazon S3. –
https://aws.amazon.co m/premiumsupport/knowledge-center/s3-optimize-transfer/ –