Amazon S3/Слияние между двумя ведрами

Question

У меня есть два ведра a и b. Ведро b содержит 80% объектов в a.

Я хочу скопировать оставшиеся 20% объектов, которые в a в b, не загружая объекты в локальное хранилище.

Я видел AWS Command Line Interface, но, как я understant, это скопировать все объекты из a в b, но, как я сказал, - я хочу, что он будет копировать только те файлы, которые существуют в a, но не существует в b.

Answer 1

Вы можете использовать AWS SDK и написать php или другой поддерживаемый языковой скрипт, который будет составлять список имен файлов из обоих ковшей, использовать array_diff, чтобы узнать файлы, которые не являются общими, а затем скопировать файлы из Bucket A в память затем поместить файл в ведро B.

Это хорошее место, чтобы начать: https://aws.amazon.com/sdk-for-php/

Более углубленно на создание массивов имен файлов (ключи): [http://docs.aws.amazon.com/AmazonS3/latest/dev/ListingObjectKeysUsingPHP.html][2]

Некоторые код для получения ключей

$objects = $s3->getIterator('ListObjects', array('Bucket' => $bucket)); 

foreach ($objects as $object) { 
    echo $object['Key'] . "\n"; 
} 

Here describes how to move keys from bucket to bucket

// Instantiate the client. 
$s3 = S3Client::factory(); 

// Copy an object. 
$s3->copyObject(array(
    'Bucket'  => $targetBucket, 
    'Key'  => $targetKeyname, 
    'CopySource' => "{$sourceBucket}/{$sourceKeyname}", 
)); 

Вы будете хотеть, чтобы вытащить ключи из обоих ведра, и сделать array_diff, чтобы получить результирующий набор ключей, которые вы можете затем цикл через и передачи. Надеюсь это поможет.

Answer 2

Установка AWS командной строки и настроить его с учетными данными доступа

Убедитесь, что оба ведра имеют ту же структуру каталогов

AWS S3 docs

Следующая команда синхронизация синхронизирует объекты под определенным префиксом и ведра к объектам под другим заданным префиксом и ведром путем копирования s3 объектов. Объекту s3 требуется копирование, если размеры двух объектов s3 отличаются, последнее измененное время источника новее, чем , последнее измененное время назначения или объект s3 не существуют под указанным ведром и префиксом место назначения. В этом примере пользователь синхронизирует ведро mybucket2 с ковшом mybucket. Ведро mybucket содержит объекты test.txt и test2.txt. ведро mybucket2 не содержит объектов:

aws s3 sync s3://mybucket s3://mybucket2