Самый простой способ получить метаданные объектов S3 (NodeJS API)

Question

Я сохранил пользовательские метаданные в своих объектах S3 (я хранил описание файла в мета-х-amz-метаданных-описании).

Я хотел бы получить список файлов со свойствами объектов S3, включая метаданные.

Я думал, что s3.listObjectsV2 может мне помочь, но мне кажется, что этот метод не может получить мета-данные (см официальный документ here)

Я видел, что я могу получить эти medata с GetObjects, но это увеличит намного число вызова и латентность запроса.

У вас есть идея массового получения метаданных списка объектов?

Thanks, Romain.

Answer 1

вам нужно aws s3api head-object, который делает именно то, что вы хотите

Операция ГОЛОВА извлекает метаданные из объекта без возврата самого объекта. Эта операция полезна, если вас интересуют только метаданные объекта. Чтобы использовать HEAD, вы должны иметь READ-доступ к объекту.

aws s3api head-object --bucket <mybucket> --key <value> 

Она также доступна в nodeJS API см http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/S3.html#headObject-property

метод вызывается один раз за ключ, если вам нужно вызвать для нескольких элементов, которые необходимо cupple, что с другим методом, позволяет сказать, в качестве примера вам нужно все метаданные для всех CSV файлов из ведра вы бы запустить

aws s3 ls --recursive <mybucket> \ 
| grep ".csv$" | cut -c 32- \ 
| xargs -I {} aws s3api head-object --bucket <mybucket> --key {} 

Первая часть списка команд все файлы с ведром, вы Grep только для определенного расширения, ул вырывайте символы, чтобы получить только ключ, и передайте этот ключ в качестве аргумента команды головного объекта.