У меня есть ведро на S3, которое я хотел бы сделать резервным для GCS, возможно даже Nearline. Из моих исследований кажется, что я могу использовать gsutil, работающий на GCE, чтобы сделать это. Я не уверен в том, как сделать это повторяющейся передачей. Может быть, раз в месяц он будет проверять ведро S3 и переместить что-нибудь новое в GCS. Возможно ли это с gsutil?Повторяющийся перевод с S3 на GCS
Спасибо!
Если вы делаете резервное копирование, Я бы рекомендовал использовать gsutil rsync:
gsutil -m rsync s3://s3-bucket gs://gs-bucket
В отличие от команды gsutil cp, это будет только скопировать диф. Если вы хотите, чтобы удалить элементы из пункта назначения, если они будут удалены из источника, вы можете использовать флаг -d:
gsutil -m rsync -d s3://s3-bucket gs://gs-bucket
Более подробной информация доступна в gsutil rsync docs.
Настройка задания cron для выполнения одного из указанных выше ежедневных/еженедельных/ежемесячных периодов должна обрабатывать повторяющийся аспект.
В качестве альтернативы вы можете рассмотреть Online Cloud Import; это все еще в бета-версии, но это позволит вам сделать выше, не используя gsutil.