AWS CLI команды

Question

Я пытаюсь выполнить следующую команду, используя команду CLI AWS -

aws s3 cp s3://my_bucket/folder/file_1234.txt -| pipe to sed command | pipe to jq command | aws s3 cp - s3://my_bucket/new_folder/final_file.txt 

Приведенный выше код работает отлично - в основном вытягивать данные из s3, делая некоторые операции и толкая его обратно в s3.

Теперь у меня есть файлы в s3, у которых есть шаблон - например, file_771.txt, file_772.txt, file_773.txt и т. Д.

Теперь, чтобы получить все файлы, соответствующие шаблону, я выполняю следующую операцию, которая не работает должным образом. Он генерирует пустой файл вывода в s3.

aws s3 cp --include file_77* s3://my_bucket/folder/ -| pipe to sed command | pipe to jq command | aws s3 cp - s3://my_bucket/new_folder/final_file.txt 

Этот код генерирует пустой файл final_file.txt. Любая причина ? Я что-то пропустил в коде?

Answer 1

Чтобы скопировать несколько файлов одновременно, вы должны использовать --recursive, в вашем случае с --exclude "*" --include "file_77*", но:

Загрузку как поток в настоящее время не совместимы с --recursive параметром

cp