прокси-ошибка при загрузке из публичного ведра s3

Question

Я новичок в s3-ведре, и я пытаюсь разархивировать файл, сохраненный в общедоступном ведро s3. При этом в R, мой код:

fn <- "http://s3://[redacted url address].tar.gz" 
download.file(fn, destfile = "tmp.tar.gz") 

Я получаю либо "500 Internal Privoxy Error" или "502 Скрипач - DNS Lookup Failed", в зависимости от того, какой компьютер я пытаюсь его.

Я пытаюсь найти в Интернете правильный способ загрузки из s3-ведра с помощью R, но не нашел многого, надеюсь, я могу получить помощь здесь.

спасибо!

Answer 1

Первоначально предполагалось, что отредактированная часть s3://[redacted url address].tar.gz содержит полное имя хоста конечной точки REST для ведра S3.

Как оказалось, формат может быть просто s3://bucket-name/filename.tar.gz.

В этом случае вы все равно можете преобразовать это в загружаемый URL (при условии, что ресурс является общедоступным) ... имя ведра должно быть преобразовано в имя узла в S3.

s3://example-bucket/file.tar.gz 

... становится ...

http://example-bucket.s3.amazonaws.com/file.tar.gz 

Если имя ведра не содержит никаких точек, то HTTPS будет работать. (Если в имени ведра есть точки, они все равно «работают», но подстановочный сертификат *.s3.amazonaws.com не будет доверять пользовательскому агенту HTTP.

Все ковши с объектами, настроенными для доступа общественности, доступны через этот формат URL, от любого веб-браузера или другой библиотеки http-агентов пользователя. Ведра S3 хранятся в одной из нескольких областей (заданной владельцем ведра при времени создания ведра), и в каждом регионе также используются конечные точки, относящиеся к региону, но приведенная выше конструкция действительна для все ведра

http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region