Как найти дубликаты файлов в ведро AWS S3?

Question

Есть ли способ рекурсивно найти дубликаты файлов в ведро Amazon S3? В обычной файловой системе, я бы просто использовать:

fdupes -r /my/directory 

Answer 1

Там нет команды «найти дубликаты» в Amazon S3.

Однако, вы делаете следующее:

• Извлечение список объектов в ведре
• искать объекты, которые имеют тот жеETag (контрольная сумма) и Size

Они (очень вероятно) были бы дублирующими объектами.

Answer 2

Вот репозиторий git: https://github.com/chilts/node-awssum-scripts, который имеет файл сценария js, чтобы найти дубликаты в ведре S3. Я знаю, указывая на внешний источник, не рекомендуется, но я надеюсь, что это может вам помочь.

Answer 3

import boto3 
s3client = boto3.client('s3',aws_access_key_id=ACCESS_KEY,aws_secret_access_key=SECRET_KEY,region_name=region) 
etag = s3client.head_object(Bucket='myBucket',Key='index.html')['ResponseMetadata']['HTTPHeaders']['etag'] 
print(etag)