sqoop импорта в улей

Question

1 команды:

sqoop import \ 
–connect “jdbc:mysql://quickstart.cloudera:3306/retail_db” \ 
–username retail_dba \ 
–password cloudera \ 
–table departments \ 
–hive-home /user/hive/warehouse \ 
–hive-import \ 
–hive-overwrite \ 
–hive-table sqoop_import.departments \ 
–outdir java_files 

вторая команда:

sqoop import \ 
–connect “jdbc:mysql://quickstart.cloudera:3306/retail_db” \ 
–username retail_dba \ 
–password cloudera \ 
–table departments \ 
–target-dir=/user/hive/warehouse/department_test \ 
–append 

В обоих командах мы создаем таблицу в улье без указания поля и строки разделителей и импорта с помощью sqoop, то почему во втором случае мы получаем Null, а не в первом случае

Answer 1

улей по умолчанию разделитель

• поле: CTRL+A
• ЛИНИЯ: \n

Случай 1: HIVE ИМПОРТ

Импорт таблиц в улье (. Использование разделителей улья по умолчанию, если ни один не установлены)

Кроме того, он создает таблицу, указанную в --hive-table(если не существует) с разделителем по умолчанию для улья.

Случай 2: HDFS ИМПОРТ

В этом случае, данные из СУБД хранится в виде , разделитель полей и разделитель \n линии (по умолчанию) который не является разделители по умолчанию для улья. Вот почему вы получаете NULL записи в своих данных.

Вы можете решить, используя два способа:

• Изменение вашего Hive таблицы разделителей полей

• использовать --fields-terminated-by в вашей команде IMPORT.