Как загрузить файл CSV в logstash

Question

Я пытаюсь загрузить CSV-файл в logstash, но он не читает файл и не создает индекс в elasticsearch Мне нужно прочитать CSV-файл в elasticsearch. Пробовал несколько изменений в файле конфигурации.

Мой Конфигурационный файл

input { 
    file { 
     type => "csv" 
     path => "/root/installables/*.csv" 
     start_position => beginning 
    } 
} 

filter { 
    grok { 
     match => { "message" => "%{COMBINEDAPACHELOG}" } 
    } 
} 

output { 
    elasticsearch { 
     hosts => localhost 
     index => "client" 
    } 
} 

Может кто-нибудь сказать, как загрузить CSV-файл в logstash?

Answer 1

Я думаю, вы должны установить фильтр «csv». Я делаю это работает так:

input { 
    file { 
    path => "/filepath..." 
    start_position => beginning 
    # to read from the beginning of file 
    sincedb_path => "/dev/null" 
    } 
} 

filter { 
    csv { 
     columns => ["COL1", "COL2"] 
    } 
} 

output { 
    stdout { codec => rubydebug } 
    elasticsearch { 
     host => "localhost" 
     index => "csv_index" 
    } 
} 

Кроме того, добавление стандартный вывод, как выход помогает отлаживать и знать, если файл загружается