Могу ли я удалить поле сообщения из Logstash?

Question

У меня есть базовая настройка Logstash -> Elasticsearch, и, оказывается, поле «message» не требуется после того, как фильтр logstash выполнил свое задание. Сохранение этого необработанного поля сообщения в elasticsearch только добавляет ненужные данные в хранилище imo.

Могу ли я безопасно удалить это поле, и это вызовет проблемы с ES? советы или чтения приветствуются, спасибо всем.

Answer 1

Нет, это не вызовет проблем с ES. Вы можете удалить поле message, если оно является избыточным или неиспользуемым.

Вы можете добавить это filter в конец фильтров.

mutate 
{ 
    remove_field => [ "message" ] 
} 

Answer 2

Вы также можете сделать это в пределах фильтра json.

filter { 
    json { 
    source => "message" 
    remove_field => ["message"] 
    } 
} 

Answer 3

Я бы добавил следующее в качестве комментария к ответу Бен Лим, но я не знаю, как добавить блок кода в комментарии, или даже того, что можно ...

Если вы можете использовать комбинацию ввода и кодека, которая не создает поле message, вам не нужно его удалять.

Например, следующая комбинация входных и кодек (JSON линия над TCP) не создает message поля:

input { 
    tcp { 
    port => 5044 
    codec => json_lines 
    } 
} 
output { 
    elasticsearch { 
    hosts => ["localhost"] 
    document_type => "mytype" 
    index => "myindex" 
    } 
}