MIT StarCluster и S3

Question

Я пытаюсь запустить задание mapreduce на точечных экземплярах. Я запускаю свои экземпляры с помощью StarClusters и его плагина. У меня нет проблем с загрузкой данных, а затем поместить их в HDFS, а затем скопировать результат с HDFS. Мой вопрос в том, что есть способ загрузить данные непосредственно из s3 и вернуть результат обратно в s3? (Я не хочу вручную загружать данные из s3 в HDFS и выводить результат с HDFS на s3, есть ли способ сделать это в фоновом режиме)?

Я использую стандартный MIT starcluster AMI

Answer 1

вы не можете сделать это, но вы можете написать скрипт, чтобы сделать это. Например, вы можете использовать: hadoop distcp s3n: // ID: key @ mybucket/file/user/root/file , чтобы поместить файл непосредственно в hdfs из s3