Как импортировать данные из PostgreSQL в Hadoop?

Я просто новичок в Hadoop, и один из моих колледжей попросил меня о помощи в переносе некоторых таблиц PostgreSQL в Hadoop. Поскольку у меня нет большого опыта работы с PostgreSQL (я знаю базы данных, хотя), я не уверен, каким будет лучший способ для этой миграции. Одна из моих идей заключалась в том, чтобы экспортировать таблицы как данные gson, а затем обработать их из Hadoop, как в этом примере: http://www.codeproject.com/Articles/757934/Apache-Hadoop-for-Windows-Platform. Существуют ли более эффективные способы импорта данных (таблицы &) из PostgreSQL в Hadoop?Как импортировать данные из PostgreSQL в Hadoop?

источник

2015-01-30 user1680859

Вы можете использовать команду для импорта, я пробовал https://www.toptal.com/database/hdfs-tutorial-data-migration-from-postgresql ссылку, но я получаю ошибку. – Sidhartha

Sqoop (http://sqoop.apache.org/) - это инструмент, специально предназначенный для этого. Просмотрите документацию, sqoop обеспечивает лучший и самый простой способ передачи ваших данных.

источник

2015-01-30 16:34:37 Amar

Я посмотрю, спасибо – user1680859

Работает ли Sqoop с Windows? – user1680859

Что именно вы имеете в виду под окнами? ... ваш Postgre Sql установлен на машине Windows? .......... в целом sqoop работает на стороне, где у вас есть кластер сгруппировки, так как он запускает работу по сокращению карты, чтобы извлекать данные из db, а затем выгружает ее в HDFS. – Amar

Как импортировать данные из PostgreSQL в Hadoop?

ответ

Смежные вопросы