S3: как загрузить большое количество файлов

Я должен загрузить файлы размером 100 КБ (общий размер: 200 МБ).S3: как загрузить большое количество файлов

Я попытался сделать это через веб-браузер (AWS Console), но в течение первых 15 минут я загрузил только 2 МБ.

Что является самым быстрым способом загрузки небольших файлов размером 100 тыс. В S3?

2017-02-14 nicq

Установите the AWS CLI tool, затем используйте команду aws s3 cp или команду aws s3 sync, чтобы загрузить все ваши файлы на S3.

В качестве альтернативы вы можете изучить сторонние клиенты S3, такие как Cyberduck и CloudBerry Explorer.

источник

2017-02-14 20:33:02

Я использовал 'aws s3 cp' со следующей командой:' aws s3 cp myDir s3: // mybucket/--recursive'. Подробнее: [link] (http://docs.aws.amazon.com/cli/latest/reference/s3/cp.html). И мне потребовалось приблизительно 3 минуты, чтобы загрузить файлы 100k с общим размером 200MB – nicq

Я использовал эту функцию boto3 [boto3.s3.transfer] (http://boto3.readthedocs.io/en/latest/_modules/boto3/ s3/transfer.html) для загрузки (multipart transfer) некоторого файла резервной копии db на s3, но в моем случае мне пришлось сначала сжать файлы. Надеюсь, это поможет. – Gigapalmer

S3: как загрузить большое количество файлов

ответ

Смежные вопросы