Logstash не записывает данные из внешнего файла в elasticsearch

Question

У меня есть пример текстового файла с именем testfile.txt, содержащий простые «Привет». Я хочу, чтобы эти данные индексировались по ElasticSearch. Я выполнить следующую команду logstash:

bin/logstash -f logstash-test.conf 

Conf содержимое файла ниже:

input{ 
    file 
     { 
      path=> "/home/abhinav/ELK/logstash/testfile.txt" 
      type => "test" 
      start_position => "beginning" 
     } 
    } 
output{ 
    elasticsearch { host => localhost 
      index => "test_index" 
       } 
    stdout { codec => rubydebug } 
     } 

ElasticSearch журнал показывает ошибку follwing:

[2015-05-04 14:52:23,082][INFO ][cluster.service ] [Argo] added {[logstash-abhinav-HP-15-Notebook-PC-10919-4006][CPk1djqFRnO-j-DlUMJIzg][abhinav-HP-15-Notebook-PC][inet[/192.168.1.2:9301]]{client=true, data=false},}, reason: zen-disco-receive(join from node[[logstash-abhinav-HP-15-Notebook-PC-10919-4006][CPk1djqFRnO-j-DlUMJIzg][abhinav-HP-15-Notebook-PC][inet[/192.168.1.2:9301]]{client=true, data=false}])

Я попытался следующие вещи:

Пробовал с помощью простого входа std (stdin) в ES n stdout. Это сработало.

Answer 1

Если вы используете один и тот же файл несколько раз, чтобы проверить с, вы работаете в проблему «sincedb» - см How to force Logstash to reparse a file?

Вам нужно добавить sincedb_path => "/dev/null" к введенному файла. Как правило, это не требуется в сценарии производства, но это при тестировании.

Answer 2

Я нашел решение моей проблемы, а также нашел вещи, которые мы можем проверить, если logstash & ES не работает/нормально работает. :

• Убедитесь, что ES & Logstash правильно установлены
• Версии, установленные совместимы друг с другом
• Даже во время тестирования, попробуйте сделать другой файл Logstash конф для различного теста, как это было предложено г-ном Alcanzar в выше комментария.

Вы также можете обратиться к ссылкам ниже, справки по этому вопросу:

Cannot load index to elasticsearch from external file, using logstash

https://logstash.jira.com/browse/LOGSTASH-1800