Lucene: дело с апострофом

Question

Я хотел бы иметь дело с апострофами в Lucene. Приведем пример. У меня есть следующее предложение: «L'arbre est vert». Я хотел бы знать, как я могу создать запрос на слово «arbre» ​​без апострофа. С StandardAnalyzer мне нужно написать «L'arbre», чтобы получить положительный ответ.

Обратите внимание, что есть один вопрос здесь: Lucene Indexing to ignore apostrophes. Но поскольку я совершенно новый в Lucene, я хотел бы иметь пример (фрагмент кода, который работает в Lucene 5.3).

Answer 1

Похоже, вам нужно что-то с более надежным анализом французского языка. Я бы подумал об использовании FrenchAnalyzer. StandardAnalyzer предназначен для обеспечения проходимого языкового агностического анализа. Если вы хотите более интеллектуальный лингвистический анализ определенного языка, вы должны посмотреть на анализатор для этого языка.

для "L'Arbre Est верт", StandardAnalyzer размечает ее в:

• l'ARBRE
• Эст
• верт

Где FrenchAnalyzer дает:

• arbr
• vert

Answer 2

Как указано @femtoRgon, вам необходимо решить эту проблему с помощью более подходящего анализа. Вы можете либо изменить анализатор поля в зависимости от языка конкретного документа/запроса, либо вы можете выбрать более продвинутую стратегию, используя языковые индексы или поля.

Посмотрите на Multilingual Search using Lucene для обзора возможных стратегий.