Загрузка yfcc100m из aws s3 bucket

Я пытаюсь загрузить набор данных, размещенный в AWS. Я пытаюсь использовать s3cmd и настроил его с помощью ключа доступа и секретного ключа. Я могу перечислить файлы в ведро надлежащим образом с помощью:Загрузка yfcc100m из aws s3 bucket

s3cmd ls s3://yahoo-webscope/I3set13/

Я использовал get для загрузки набора данных:

s3cmd get --recursive s3://yahoo-webscope/I3set13/

Но показано следующее сообщение об ошибке:

ERROR: S3 error: 403 (Forbidden)

несколько решений, которые я нашел, предложили изменить политику ведра, но я не могу его изменить, потому что я не являюсь владельцем.

Пожалуйста, дайте мне знать причину проблемы и как я могу ее решить.

источник

2017-01-11 rakinhaider

Похоже, ваш ключ доступа/секретный ключ имеет только разрешение «ListObjects» и не содержит «GetObject» в политике ведра. Вам нужно будет обновить политику ведра. –

В этом проблема. У меня нет доступа к политике этого ковша. Это ведро находится у кого-то другого. Также я новичок в aws. Если я неправильно понял, что вы сказали, сообщите мне ссылку или некоторые подробности. Благодарю. – rakinhaider

Вам НЕОБХОДИМО иметь доступ к политике ведра ИЛИ просто сообщите хосту, чтобы он сделал это за вас. –

Согласно https://multimediacommons.wordpress.com/yfcc100m-core-dataset/, хотя набор данных размещается в S3 ведро, доступ к нему ограничен, так что вам нужно submit a request и следовать дальнейшим инструкциям электронной почты для доступа:

Получение YFCC100M: набор данных можно запросить по адресу Yahoo Webscope. Вам нужно будет создать учетную запись Yahoo, если у вас ее еще нет, и после входа в систему вам будет легко отправить запрос на YFCC100M. Webscope попросит вас рассказать им, что ваши планы относятся к набору данных, что помогает им оправдывать существование своей учебной программы и позволяет им предлагать наборы данных в будущем. В отличие от других наборов данных, доступных в Webscope, YFCC100M не требует, чтобы вы были студентом или преподавателем в аккредитованном университете, поэтому вы будете автоматически одобрены.

источник

2017-01-11 18:32:49 wjordan

Я запросил для набора данных, как сказано в ответе. Но я ошибался, используя ключ доступа другой учетной записи. Ключ доступа должен быть с той же учетной записи, что и при запросе набора данных из yahoo-webscope. – rakinhaider

«Ключ доступа должен быть с той же учетной записи, что и при запросе набора данных из yahoo-webscope». @rakinhaider означает, что ключ доступа должен быть от того же адреса электронной почты, что и при запросе набора данных ??? Поскольку вы не можете получить доступ к Amazon AWS со своей учетной записью Yahoo. Или я что-то пропустил? – sdikby

Да, я имел в виду, что вам нужно зарегистрироваться в Amazon AWS с тем же адресом электронной почты, что и тот, с которым вы запросили набор данных. – rakinhaider

Загрузка yfcc100m из aws s3 bucket

ответ

Смежные вопросы