Невозможно загрузить данные из улья Apache в ElasticSearch -

Question

Я использую CDH5.5, ElasticSearch-2.4.1. Я создал таблицу Hive и попытался перетащить данные таблицы улья в ElasticSearch, используя следующий запрос.

CREATE EXTERNAL TABLE test1_es(
    id string, 
    timestamp string, 
    dept string)<br> 
ROW FORMAT SERDE 'org.elasticsearch.hadoop.hive.EsSerDe' 
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' 
LOCATION 
    'hdfs://quickstart.cloudera:8020/user/cloudera/elasticsearch/test1_es' 
TBLPROPERTIES ( 'es.nodes'='localhost', 
'es.resource'='sample/test1', 
'es.mapping.names' = 'timestamp:@timestamp', 
'es.port' = '9200', 
'es.input.json' = 'false', 
'es.write.operation' = 'index', 
'es.index.auto.create' = 'yes' 
);<br> 
INSERT INTO TABLE default.test1_es select id,timestamp,dept from test1_hive; 

Я получаю ошибку ниже в URL Работа Tracker "

Failed while trying to construct the redirect url to the log server. Log Server url may not be configured. <br> 
java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn't belong to this node at all. " 

Он будет бросать "FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask" в улей терминале.

Я попробовал все шаги, упомянутые в форумах, как в том числе /usr/lib/hive/bin/elasticsearch-hadoop-2.0.2.jar в hive-site.xml, добавив банку ES-hadoop в HIVEAUXJARS_PATH, скопированную банку пряжи в /usr/lib/hadoop/elasticsearch-yarn-2.1 .0.Beta3.jar также. Пожалуйста, предложите мне, как исправить Ошибка.

Спасибо заранее, Сринат

Answer 1

Я имею дело с той же проблемой, и я обнаружил, что ошибка выполнения брошенной улья вызвана временной метки поля строкового типа, который не будет прочитан. Мне интересно, правильно ли отображались поля timestamp типа string, а если нет, это может быть основной причиной.

BTW, вы должны обратиться к журналу MR с информацией о местоположении, чтобы найти более подробную информацию об ошибке.

Answer 2

REATE EXTERNAL TABLE test1_es(
    id string, 
    timestamp string, 
    dept string)<br> 
ROW FORMAT SERDE 'org.elasticsearch.hadoop.hive.EsSerDe' 
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' 
TBLPROPERTIES ........... 

не нужно местоположение