Как импортировать данные из mysql в HDFS. Я не могу использовать sqoop, поскольку это установка HDFS, а не cloudera. Я использовал ниже ссылку для настройки HDFS. Моя версия для гаража составляет 0.20.2 http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/Как импортировать данные из mysql в установку Apache Hadoop HDFS.
Помимо sqoop, вы можете попробовать hiho. Я слышал хорошие вещи об этом. (Никогда не использовал его)
Но в основном я видел, что люди в конечном итоге создают свои собственные потоки, чтобы сделать это. Если hiho не работает, вы можете сбросить данные с MySql, используя mysqlimport. Затем загрузите HDFS, используя работу по сокращению карты или Pig/Hive.
Я слышал, что Sqoop довольно хорош и широко используется (Это снова слух, я никогда не использовал его сам). Теперь, когда it is an apache incubator project, я думаю, что он, возможно, начал поддерживать выпуски apache из хаоса или, по крайней мере, мог сделать его менее болезненным для версий без cloudera. The doc действительно говорит, что он поддерживает Apache hadoop v0.21. Попытайтесь заставить его работать с вашей версией хауап. Возможно, это не так сложно.
Непосредственно, связанный с вашим вопросом, но если вы хотите использовать базу данных в качестве входных данных для работы с сокращением на карте и не хотите копировать в HDFS, вы можете использовать DBInputFormat для непосредственного ввода из базы данных.
Я не вижу, что мешает вам использовать Sqoop, поскольку это никак не связано с конкретным программным обеспечением Cloudera. –
Можете ли вы рассказать мне, как настроить Sqoop? –
Я смог сделать это, установив HIVE и импортировав txt-файлы в HDFS с помощью HIVE. .. Спасибо всем –