Как настроить aws CLI на s3 cp с анонимным пользователем

Question

Мне нужно рекурсивно загружать файлы из ведра s3. Ведро s3 позволяет анонимный доступ.

Как перечислить файлы и загрузить их без предоставления AWS Access Key с помощью анонимного пользователя?

Моя команда:

aws s3 cp s3://anonymous@big-data-benchmark/pavlo/text/tiny/rankings/uservisits uservisit --region us-east --recursive 

АМС compains что:

Unable to locate credentials. You can configure credentials by running "aws Configure»

Answer 1

вы, вероятно, чтобы обеспечить ключи доступа и секретный ключ, даже если вы делаете анонимным доступ нет. Не вижу возможности анонимного для AWS cli.

Другой способ сделать это, чтобы попасть в конечную точку http и захватить файлы, которые путь.

В вашем случае: http://big-data-benchmark.s3.amazonaws.com

вы получите и XML перечисляя все ключи в ведре. Вы можете извлекать ключи и вызывать запросы для каждого. Не самая быстрая вещь, но она выполнит свою работу.

Например: http://big-data-benchmark.s3.amazonaws.com/pavlo/sequence-snappy/5nodes/crawl/000741_0

для получения файлов локон должен быть достаточно. для синтаксического анализа xml в зависимости от того, что вам нравится, вы можете идти как lo-level как sed и как высокий уровень как правильный язык.

надеюсь, что это поможет.

Answer 2

Вы можете использовать no-sign-request вариант

aws s3 cp s3://anonymous@big-data-benchmark/pavlo/text/tiny/rankings/uservisits uservisit --region us-east --recursive --no-sign-request