Загрузка данных на HDFS с использованием Sqoop

Question

Я искал способы перемещения данных в систему HDFS, хотел узнать, можно ли использовать Apache Sqoop для вытягивания/извлечения данных из внешней службы REST?

Answer 1

От http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html

Sqoop это инструмент, предназначенный для передачи данных между Hadoop и реляционными базами данных. Вы можете использовать Sqoop для импорта данных из системы управления реляционными базами данных (RDBMS), таких как MySQL или Oracle, в распределенную файловую систему Hadoop (HDFS), преобразования данных в Hadoop MapReduce и последующей передачи данных в СУБД.

Поэтому он не поддерживает данные импорта из службы REST.

Answer 2

Мой любимый способ извлечения данных из службы REST:

завитка HTTP: // | hdfs -put -/my/hdfs/справочник