AWS S3 Параллельная копия ссылочных файлов

Question

Я рекурсивно просматриваю подкаталог файлов, соответствующих определенным критериям. Затем я выводим имена файлов/пути в плоский файл. Я хочу, чтобы иметь возможность копировать файлы, на которые ссылаются в этом файле, на S3 в параллельном режиме, чтобы ускорить время обработки. Пример:

myfiles.txt: 
/data/srv/prod1/file1.tar.gz 
/data/srv/prod4/file12.tar.gz 
/data/srv/prod2/file255.tar.gz 

Я цикл через файл и выполнить S3 Copy один-на-время, но файлы очень большие, и это занимает очень много времени.

Как копировать файлы с ссылками параллельно S3?

Answer 1

При прокрутке имен файлов вы можете запускать каждую передачу в своем собственном процессе (или потоке). Контролируя количество запущенных процессов или потоков, вы можете одновременно передавать несколько файлов. Однако передача слишком большого количества файлов сразу может нанести ущерб скорости передачи.

Answer 2

Использование GNU Parallel:

cat myfiles.txt |parallel -j0 s3cmd cp {} s3://bucket/folder/{/} 

Adjust -j0, пока не найдете максимальную пропускную способность.