2016-12-20 5 views
0

Я хотел загрузить последние N элементов из ведра S3, и я думал, что должен использовать --page-size.Загрузить последние N элементов из корзины S3

От AWS documentation:

--page-размер (целое число) Количество результатов для возврата в ответ на каждой операции списка. Значение по умолчанию - 1000 (максимально допустимое). Использование меньшего значения может помочь в случае сбоя операции.

И здесь, есть моя команда, когда я пытаюсь получить 15 пунктов:

aws s3 sync s3://mybucket/mydirectory . --page-size 15 

Однако я получить все детали.

Я ошибаюсь, используя --page-size?

Как я могу получить эти последние N элементов?

Благодаря

ответ

0

--page-size относится к числу элементов, чтобы потребовать от S3 в каждом списке объектов запроса, отправленного в API S3 ... но AWS-кли будет продолжать посылать запросы на несколько объектов до тех пор, пока S3 сообщает, что в конце список был достигнут.

Эта опция, вероятно, полезна только в случае странных сетевых проблем, когда вам нужно, чтобы каждый набор элементов был мал. Это увеличивает стоимость, потому что больше запросов отправляется и замедляет процесс, потому что требуется больше раундов, но не влияет на фактическую работу, которую в конечном итоге сделает aws s3 sync.

Кроме того, в объектах нет понятия «последний» - объекты всегда сортируются лексически, от самого низкого до высшего (то есть ASCII 0-9, AZ, az ... точнее, в utf-8 байт заказ).

+0

Итак, нет способа сделать это? –

+0

Идентифицируйте объекты, которые вы хотите, используя 'aws s3api list-objects', а затем синхронизируйте их явно. –

Смежные вопросы