Сохранение файлов на S3: локальный файл против HDFS

Question

фон

Простой возраст старая проблема загрузки файлов s3 с помощью Java с небольшим твист

S3 не поддерживает потоковую передачу данных (AFAIK), поэтому данные должны группироваться в файлы определенного размера до его загрузки.

При создании этих временных файлов, упомянутых выше, есть несколько вариантов, насколько расположение обеспокоен

1. локально в некоторых назначенных каталогах
2. Локально в HDFS (если что-то подобное, что это возможно, я не знают даже H от Hadoop)
3. К HDFS в Hadoop кластера

Вопрос

1. Какой, вероятно, будет быстрее?
2. Есть ли преимущество в использовании HDFS (локального или кластерного) и локальной FS, а HDFS - ближе к природе в формате S3?

Технология и инфраструктура

EC2, Linux, Java

Answer 1

Если у вас достаточно места на диске локально, просто сделать это на месте. В противном случае вы можете объединить данные в хранилищах, которые вам нужны на HDFS, а затем загрузить их. Однако HDFS не должен быть вашим первым курортом здесь.