копирования файлов из локальной системы AWS S3 ведро

Question

Я пытаюсь скопировать файл сформировать свою локальную систему в AWS S3 ведро с помощью следующей команды копирования:

aws s3 cp folder/ s3://xxx/yyy/folder --recursive 

только файлы меньшего размера копируются, но чем больше файл размер (например: 5 МБ) файлов, как и копирование. Я получаю ошибку, как connection reset by peer, write operation timed-out.

Я также посмотрел на ссылку:

https://github.com/aws/aws-cli/issues/634 

Но ничего не работает. Пожалуйста, помогите мне разобраться с этим. Заранее спасибо.

Моя версия:

AWS --version:

aws-cli/1.9.2 
Python/2.7.3 
Linux/3.5.0-27-generic 
botocore/1.3.2 

Answer 1

вы можете использовать следующий параметр

--page размер (целое) число возвращаемых результатов каждый ответ на операцию списка. Значение по умолчанию - 1000 (максимально допустимое). Использование меньшего значения может помочь в случае сбоя в работе.

установка 100 должна помочь решить проблему

Answer 2

в качестве альтернативы Вы можете использовать Minio client aka mc для таких же. mc mirror команда может сделать это, это с открытым исходным кодом. Клиент Minio позаботится о многопользовательской загрузке изначально и отключит сетевое отсоединение, и он начнет загружаться с того места, где он остался до отключения.

 
$ mc mirror folder S3alias/folder 

Не стесняйтесь проверить https://docs.minio.io/docs/minio-client-quick-start-guide для получения подробной информации.

Надеюсь, это поможет.

Отказ от ответственности: Я работаю Minio