входной файл начальная_позиция => "начало" не работает, даже после удаления .sincedb файлы

Question

Версия: ElasticSearch-5.2.1/Logstash-5.2.1/Kibana-5.2.1 ОС: Windows 2008

I «ве только начал работать на ELK Stack & я сталкиваются некоторые проблемы с загрузкой данных у меня есть следующий код .json

input { 
    file { 
     path => "D:\server.log" 
     start_position => beginning 
    } 
} 
filter { 
    grok { 
    match => ["message","\[%{TIMESTAMP_ISO8601:timestamp}\] %{GREEDYDATA:log_message}"] 
    } 
} 
output { 
    elasticsearch { 
    hosts => "localhost:9200" 
    } 
} 

Я удалил .sincedb файлы

И все же, когда я извлекаю информацию журнала в Kibana, я могу видеть данные, начиная только с тех пор, как я сначала разбирался. У меня есть данные на 2-3 месяца в моем файле журнала.

Answer 1

Что делать, если у вас есть свой вход файла как таковые, где вы теряете на ignore older, который фактически остановит вас перечитывая старые файлы плюс вы теряете на since db path имущество я считаю. Вы могли бы найти ответ на этот вопрос @Steve Shipway для лучшего объяснения того, как эти два свойства находятся в вашем файле .

Так что ваши input может выглядеть примерно так:

input { 
    file { 
     path => "D:\server.log" 
     start_position => "beginning" <-- you've missed out the quotes here 
     ignore_older => 0 
     sincedb_path => "/dev/null" 
    } 
} 

Примечание, что установка sincedb_pathв/DEV/нуль сделает файлы доступными для чтения с самого начала, каждый раз, которое не является хорошим решение вообще. Но тогда удаление файла .sincedb должно работать, я считаю. Если вы действительно хотите забрать строки с того места, где вы остановились, вам действительно нужен файл .sincedb, который будет удерживаться в последней позиции, которая была обновлена ​​последней. Вы можете посмотреть на this для подробной иллюстрации.

Надеюсь, это поможет!