sqoop vs hdfs команды

Question

Я новый bie для Sqoop. По моему пониманию, команды Sqoop предназначены для импорта данных из базы данных, таких как MySql в HDF, а наоборот, а команды HDFS предназначены для обработки данных в HDFS, таких как получение данных из HDFS в локальную файловую систему и наоборот. Не будем использовать команды sqoop для обработки данных в HDFS - чтобы получить данные из локальной файловой системы в hdfs и наоборот. Пожалуйста, дайте мне знать точные различия между командами Sqoop и HDFS. Почему у нас есть две разные вещи. Почему они не поместили все эти команды в один набор. Извиняюсь, если мой вопрос не имеет смысла.

Answer 1

Команды Sqoop служат для следующих целей: 1) Импорт/экспорт данных из любой базы данных в hdfs/hive/hbase и наоборот. Он не ограничивает импорт и экспорт hdfs. 2) данные могут быть заброшены за один раз, если нам нужно переместить всю базу данных/список таблиц. 3) только инкрементные данные могут быть импортированы с помощью команд sqoop. 4) Он также требовал подключения драйвера для подключения к базам данных. Вкратце это касается таблиц/баз данных.

hdfs команды: 1) Он используется только для передачи любого типа (csv, text, xls) файла из локального в hdf или наоборот. Он просто служит базовой функциональности перемещения или копирования данных из одной системы в другую, как и команды unix.

Answer 2

Sqoop только функции для импорта и экспорта данных из СУБД (структурированных) в Hadoop. Он не предоставляет каких-либо других функций HDFS. После того, как если вы получите данные с помощью Sqoop в HDFS, HDFS команды будут использоваться для обработки данных (копирование, перемещение, и т.д.)

Для более Sqoop функциональных http://hortonworks.com/apache/sqoop/

Answer 3

Да ваше понимание правильно.

команды

Sqoop предназначены для:

импорта данных из любой реляционной базы данных (например, MySQL), чтобы HDFS/улей/Hbase

экспорта данных из HDFS/улей/Hbase к любой реляционной базе данных (например, MySQL)

HDFS команды для:

Копирование/передача любых файлов (например: .txt, .csv, .xls, .. и т.д.) от местного до HDFS или наоборот.

для:

Почему у нас есть две разные вещи. Почему они не поместили все эти команды в один набор.

Ответ:

Sqoop команда (для копирования структурированных данных B/W два различных систем)

HDFS команд (для копирования файлов б/ш местной и HDFS)

с помощью sqoop мы не может копировать файлы из локального в HDFS и наоборот

, а также

, используя команды hdfs, мы не можем копировать данные из hdfs в любые другие внешние базы данных (например, mysql) и наоборот.