Как перемещать файлы amazon ec2 в s3 commandline

Question

В моем экземпляре ECA Amazon есть имена файлов для загрузки. В этой папке есть 1000 изображений. Теперь я хочу скопировать все изображения в новый ведро S3.

но я не могу понять, как?

Answer 1

Первый вариант sm3cmd

используя s3cmd ответ здесь

s3cmd get s3://AWS_S3_Bucket/dir/file 

Посмотрите into the docs здесь

если вы на Linux перспективе это в командной строке.

sudo apt-get install s3cmd 

или Centos, Fedore.

yum install s3cmd 

Пример использования.

s3cmd put my.file s3://pactsRamun/folderExample/fileExample 

Второй вариант

Cli from amazon Использование

обновление

Как @ tedder42 сказать, вместо того, чтобы использовать cp использовать sync как это.

посмотрите в syntaxis

$ aws s3 sync <source> <target> [--options] 

Пример.

$ aws s3 sync. s3: // мой ведро/MyFolder

Пример from docs at the Managing Objects part

Answer 2

Также обратите внимание на AWS Cli синхронизируется с s3 это многопоточный и загружать несколько частей файла в одно время. Количество потоков, однако, не настраивается в это время.

Answer 3

У нас есть функция dryrun, доступная для тестирования.

• Для начала я хотел бы назначить EC2 инстанции роль, чтобы иметь возможность прочитать запись в S3
• SSH в экземпляр и выполнить следующие
• VI tmp1.txt
• AWS s3 мв./s3: //bucketname-bucketurl.com/ --dryrun
• Если это работает, то все, что вам нужно сделать, это либо создать скрипт для загрузки все файлы с определенными из этой папки в s3 ведро
• Я сделал создайте следующую команду в моем скрипте для перемещения файлов старше 2 минут из текущего каталога в корзину/папку
• cd dir; ls.-rt | xargs -I ФАЙЛЫ ФАЙЛЫ найти -maxdepth 1 -name '* .txt' -mmin +2 -exec AWS s3 мв '{}' s3: //bucketurl.com