Почему solr RemoveDuplicatesTokenFilterFactory не работает?

My schema.xml разделяет имя продукта, а затем использует RemoveDuplicate для удаления дублированных слов после разделения.Почему solr RemoveDuplicatesTokenFilterFactory не работает?

<fieldType name="type_name" class="solr.TextField"> 
     <analyzer type="index"> 
      <tokenizer class="solr.PatternTokenizerFactory" pattern="\|| " /> 
      <filter class="solr.LowerCaseFilterFactory"/> 
      <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>

И в анализатор запросов я вижу, что RemoveDuplicatesTokenFilterFactory абсолютно ничего не сделал для дублированных слов. Зачем?

enter image description here

источник

2012-04-26 wormhit

Если вы читаете Wiki вы увидите, что она только удаляет дубликаты в том же положении, что не в этом случае.

источник

2012-04-26 08:25:11

Как дублировать существуют в одном и том же положении? Что может вызвать это? – wormhit

Как и в Wiki, они вызывают токены в синонимах с похожим корнем, например. –

и есть ли фильтр, который удаляет дубликат без учета позиции? – lulalala

Почему solr RemoveDuplicatesTokenFilterFactory не работает?

ответ

Смежные вопросы