Для доступа к ведерке S3 от R

Question

У меня есть настройка R на экземпляре EC2 на AWS. У меня осталось несколько файлов csv, загруженных в ведро S3. Мне было интересно, есть ли способ получить доступ к файлам csv в ведре S3 из R.

Любые помощь/указатели будут оценены.

Answer 1

Введите следующую команду: install.packages("AWS.tools")

Оттуда, используйте команду s3.get(). Вкладка Help должна рассказать вам, что происходит для аргументов.

Answer 2

Установите пакет libdigest-hmac-perl;

sudo apt-get install libdigest-hmac-perl 

Answer 3

Посмотрите на пакет cloudyr aws.s3 (https://github.com/cloudyr/aws.s3), он может делать то, что вам нужно. К сожалению (на момент написания), этот пакет довольно ранний этап & немного неустойчивый.

У меня был хороший успех, просто используя команду R's system(), чтобы позвонить в AWS CLI. Это относительно легко начать, очень надежно и очень хорошо поддерживается.

1. Начало здесь: http://aws.amazon.com/cli/
2. Список объектов с использованием S3 API: http://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects.html
3. Получить объекты, использующие S3 API: http://docs.aws.amazon.com/cli/latest/reference/s3api/get-object.html

Так, например, по команде линии попробуйте следующее:

pip install awscli 
aws configure 
aws s3 help 
aws s3api list-objects --bucket some-bucket --query 'Contents[].{Key: Key}' 
aws s3api get-object --bucket some-bucket --key some_file.csv new_file_name.csv 

В R можно просто сделать что-то вроде: