Как настроить hadoop 1.2.1 с хранилищем на Amazon S3?

Question

Я попытался поместить следующее в свой файл core-site.xml, следуя этой вики http://wiki.apache.org/hadoop/AmazonS3, но мой hadoop не может установить соединение с S3n. У меня hasoop 1.2.1 развернута на кластере EC2. Каков правильный способ настройки Hadoop с памятью S3? большое спасибо!

<property> 
    <name>fs.default.name</name> 
    <value>s3://BUCKET</value> 
</property> 

<property> 
    <name>fs.s3.awsAccessKeyId</name> 
    <value>ID</value> 
</property> 

<property> 
    <name>fs.s3.awsSecretAccessKey</name> 
    <value>SECRET</value> 
</property> 

Answer 1

Вы пытались заменить s3 на s3n в своей конфигурации?

Попробуйте это:

<property> 
     <name>fs.default.name</name> 
     <value>s3n://BUCKET</value> 
    </property> 

    <property> 
     <name>fs.s3n.awsAccessKeyId</name> 
     <value>ID</value> 
    </property> 

    <property> 
     <name>fs.s3n.awsSecretAccessKey</name> 
     <value>SECRET</value> 
    </property> 

Кстати там уже большие объяснения разницы между s3 и S3N here

Кроме того, вы, возможно, придется запускать и останавливать HDFS кластер (не уверен, что есть необходимо начать его, поскольку мы больше не используем его).