Загрузка данных от свиньи до elasticsearch

Question

У меня есть кластер hadoop, управляемый Cloudera CDH 5.3.

У меня есть ElasticSearch 1.4.4 установлен в моей главной машине (10.44.162.169)

Я скачал плагин Марвел и поэтому доступ к моей ES через: http://10.44.162.169:9200/_plugin/marvel/kibana/index.html#/dashboard/file/marvel.overview.json

Я создал индекс с помощью смысл с именем myindex с типом mytype, чтобы потом вставлять мои данные в него.

Я также установить kibana 4 и изменил kibana.yml так:

# The host to bind the server to 
host: "10.44.162.169" 

# The Elasticsearch instance to use for all your queries. 
elasticsearch_url: "http://10.44.162.169:9200" 

я к нему доступ через порт 5601 (10.44.162.169:5601)

Теперь я хочу, чтобы загрузить данные, которые у меня есть в моих hdfs, в мой ElasticSearch.

После того, как загрузите банку es-hadoop и добавьте ее на путь.

Это, как я продолжил:

REGISTER /usr/elasticsearch-hadoop-2.0.2/dist/elasticsearch-hadoop-pig-2.0.2.jar 

--load the CDR.csv file 
cdr= LOAD '/user/omar/CDR.csv' using PigStorage(';') 
AS TRAFFIC_TYPE_ID:int,APPELANT:int,CALLED_NUMBER:int,CALL_DURATION:int,LOCATION_NUMBER:chararray,DATE_HEURE_APPEL:chararray); 



STORE cdr INTO 'myindex/mytype' USING org.elasticsearch.hadoop.pig.PigRunner.run('es.nodes'='10.44.162.169'); 

Когда я выполняю это; работа удалась !!!

НО, ничего не появляется в моих ES!

1) Когда я иду и получаю удовольствие от чуда, я не нахожу никаких документов в myindex!

2) Ни в моем плагине для Kibana!

3) Кроме того, когда я хочу проконсультироваться с журналами в HUE, я ничего не могу найти!

• Почему данные не помещаются в мои ES?
• Что делать, чтобы визуализировать его?
• Почему моя созданная работа успешна, но ни один журнал не видит, что происходит!

Любая помощь? Спасибо!

Answer 1

Не знаете ничего о том, как использовать ElasticSearch и Hadoop, но попытались ли вы удалить одиночные кавычки вокруг знака равенства (=) для параметра run? т.е .: 'es.nodes = 10.44.162.169' вместо 'es.nodes' = '10.44.162.169'

Answer 2

Попробуйте следующую команду

store cdr INTO 'myindex/mytype' USING org.elasticsearch.hadoop.pig.EsStorage('es.nodes = localhost:9200');