Lucene не индексирует большие, неанализированные поля

Question

Я обнаружил, что Lucene не будет индексировать непроанализированное поле, если оно слишком велико (выглядит как предел 16kb).

В моем приложении я ищу, например. " *что нибудь* ". Это прекрасно работает и находит мой документ. Если я увеличиваю размер текста, более 16 КБ, поиск перестанет его искать.

Вот как добавляется поле ...

String property = ... 
String value = ... 
Field field = new Field(property, value, Field.Store.NO, Field.Index.NOT_ANALYZED); 

Из-за ошибки в затмении я не могу отлаживать код Lucene (в настоящее время, установка NetBeans!) Так интересно, если кто-нибудь знает, где предел и если его можно увеличить?

И прежде, чем кто-либо предложит не использовать NOT_ANALYZED или сократить текст, это в конвейере!

Answer 1

Я знаю, что вы сказали, чтобы не предложить, но:

Не используйте NOT_ANALYZED для поиска длинные, полные текстовые поля.

Индексирование долго, полнотекстовый поле как NOT_ANALYZED, а затем поиск с двойным групповым символом означает, что вы не получаете абсолютно никакой пользы из возможностей полнотекстового поиска Lucene в. Такая реализация - всего лишь иллюзионовое, экстраординарное linear search. Вы можете точно хранить все свои данные в текстовом файле и искать совпадение по одному символу за раз.

Изменение этого жесткого предельного размера будет сложным, я считаю. Его нужно будет изменить в аргументе DocumentsWriter, и комментарии указывают, что реализация кэша поля должна быть изменена. Не стоит заглядывать далеко вперед, чтобы использовать чрезмерно сложный линейный поиск.

Вы говорите, что анализ находится в стадии разработки, но он имеет решающее значение для эффективного поиска с помощью lucene. Это не крутая возможность добавить позже, это то, что вы должно есть. Только начинайте с StandardAnalyzer и уточняйте, там, где это необходимо.