0
У меня есть сценарий оболочки unix, который будет загружать файлы с GCS на мой сервер. Я использую эту команду, и она работает очень хорошо.GSutil резюме скачать с использованием файлов трекера
python gsutil -m cp -R gs://$bucketId/*$fileListTobeDownloaded*$downloadedFileDate* $downloadFilePath
Общий размер всех файлов, которые я загружаю, составляет 30gb. Я создаю файл трекера в определенном месте на сервере, установив state_dir в .boto файл.
Я хочу создать механизм повтора, чтобы, если некоторые из загрузок не были завершены, вместо перезапуска всего задания должны быть загружены только эти файлы, которые не выполнялись или не загружались в предыдущем запуске.
Пожалуйста, советы
Вам нужно решение, которое копирует только определенные файлы из каждого ведра, или ваша цель - скопировать все файлы? –
Только скопируйте определенные файлы за этот день. Чтобы привести пример, есть файлы за каждый час, поэтому нам нужно будет скопировать все 24 файла на более ранние даты – kab