gsutil copy, как указать максимальное количество копируемых объектов?

Question

Мне нужно переместить файлы из одного ведра в другое в GCS для обработки, каждый раз, когда мне просто нужно копировать и обрабатывать определенное количество файлов, скажем 100, как я могу его настроить в командной строке?

GSUtil -m мв гс: //bucket1/file001.json гс: // bucket2/

Спасибо за вашу помощь.

Answer 1

Вы можете написать сценарий, который строит список всех объектов, которые будут скопированы, а затем просматривает их по 100 за раз, вызывая gsutil mv по одному за раз. Это потеряло бы параллелизм по сравнению с запуском gsutil -m mv, поэтому вы могли бы запускать каждую из этих команд gsutil mv в фоновом режиме, а затем ждать завершения всех 100, прежде чем перейти к следующей партии.