Elasticsearch/Lucene null обработка значений doc

Question

Я планирую использовать Elasticsearch в основном для анализа данных. У меня есть большой документ со многими, moslty числовыми (до 4 байтов) атрибутами. Большинство полей в моем документе содержат около 30% значений. Если я правильно понимаю, я могу воспользоваться функцией Doc Values, которая аналогична расположению столбчатых данных в некоторых базах данных. Мне было интересно, как Elasticsearch/Lucene сохранит эти данные. Используются ли какие-либо компрессии (например, длина прогона) или плотная компоновка данных, где нули будут занимать одинаковое пространство на хранении в виде значений?

Answer 1

Поведение ElasticSearch по умолчанию заключается не в том, чтобы добавлять это поле вообще в случае значений NULL. Вы можете принудительно отобразить поле с помощью null_value, но для типов, где поддерживается NULL. Например: long Поле не может быть отображено со строкой null_value.

Чтобы решить вопрос, ElasticSearch не будет выделять пространство по умолчанию для полей, отсутствующих в документе. Но вы можете столкнуться с MissingFieldException в случае, если вы запрашиваете какое-то поле, которое никогда не имело значения. Чтобы этого избежать, сопоставьте свои поля явно перед индексацией. Если вы явно указали, не забудьте установить свойство null_value этого поля вне диапазона ввода данных.