как предварительно обрабатывать данные и загружать их в улей

Question

Теперь я закончил курс хаупа, я хочу работать над Hadoop. Я хочу знать процесс обработки данных, чтобы визуализировать данные.

Я знаю о том, как эко работы компонентов системы, и я построил Hadoop кластер с 8 DataNodes и 1 NameNode: 1 NameNode --Resourcemanager, NameNode, secondarynamenode, улей 8 - узлы DataNode DataNode, Nodemanager

Я хочу знать следующие вещи:

1. Я получил данные .tar структурированные файлы и первые 4 строки имеют description.how обрабатывать данные этого типа, немного запутанные. 1.a Могу ли я напрямую обрабатывать данные, так как это tar-файлы. Если да, то как удалить данные в первых четырех строках, мне нужно разблокировать и удалить первые 4 строки 1.b, и я хочу обработать это данные с использованием улья.

Просьба предложить мне, как это сделать.

Заранее спасибо.

Answer 1

Могу ли я непосредственно обрабатывать данные, как это битуминозные файлы.

Да, см. Нижеследующее решение.

если да, то как удалить данные в первых четырех строках

Начиная улей v0.13.0, Существует свойство таблицы, tblproperties ("skip.header.line.count"="1") при создании таблицы сказать Hive числа строки для игнорирования.Игнорирование первые четыре строки - tblproperties ("skip.header.line.count"="4")

CREATE TABLE raw (line STRING) 
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'; 

CREATE TABLE raw_sequence (line STRING) 
    STORED AS SEQUENCEFILE 
    tblproperties("skip.header.line.count"="4"); 

LOAD DATA LOCAL INPATH '/tmp/test.tar' INTO TABLE raw; 

SET hive.exec.compress.output=true; 
SET io.seqfile.compression.type=BLOCK; -- NONE/RECORD/BLOCK (see below) 

INSERT OVERWRITE TABLE raw_sequence SELECT * FROM raw; 

Чтобы просмотреть данные:

select * from raw_sequence 

Ссылка: Compressed Data Storage

Answer 2

Выполните следующие шаги, чтобы достичь своей цели:

1. Скопируйте данные (ie.tar файл) в клиентской системе, где установлен Hadoop.
2. Отвяжите файл и вручную удалите описание и сохраните его на локальном компьютере.

3. Создайте метаданные (таблицу i.e) в улье на основе описания.
   Например,: Если описание содержит emp_id, emp_no и т. Д., Тогда создайте таблицу в улье, используя эту информацию, а также обратите внимание на разделитель полей, используемый в файле данных, и используйте соответствующий разделитель полей в запросе create table. Предположим, что файл содержит два столбца, разделенных запятой, а затем синтаксис для создания таблицы в кусте.

   Create table tablename (emp_id int, emp_no int) 
       Row Format Delimited 
       Fields Terminated by ',' 
   

4. Поскольку данные в структурированном формате, вы можете загрузить данные в таблицу ульи с помощью следующей команды. LOAD DATA LOCAL INPATH '/LOCALFILEPATH' INTO TABLE TABLENAME.

5. Теперь локальные данные будут перемещены в hdf и загружены в таблицу улья.

6. Наконец, вы можете запросить улей таблицу с помощью SELECT * FROM TABLENAME;