Частичное и полное фразовый

Question

Скажем, у меня предложение: «Джон любит принимать его домашнее животное баранину в его Lamborghini Huracan больше, чем в его Lamborghini Gallardo» и у меня есть словарь, содержащий «Lamborghini», " Lamborghini Gallardo "и" Lamborghini Huracan ". Каков хороший способ извлечения смелых терминов, достижения терминов «Lamborghini Gallardo» и «Lamborghini Huracan» в качестве фразовых совпадений и других частичных матчей «Lamborghini» и «lamb»? Предоставление предпочтения фразе соответствует отдельным ключевым словам.

Эластичный поиск обеспечивает точное совпадение сроков, совпадение фразы и частичное совпадение. Точный срок, очевидно, не будет работать здесь, и ни одна из них не соответствует фразе, поскольку в этом случае все предложение считается фразой. Я считаю, что частичное совпадение было бы уместным, если бы у меня были только ключевые слова, представляющие интерес для предложения. Просматривая предыдущие SO-потоки, я нашел proximity for relevance, который кажется уместным, хотя не уверен, что это «лучший вариант», поскольку требует установки порога. Или даже если есть более простые/лучшие альтернативы, чем elasticsearch (что больше похоже на полнотекстовый поиск, а не на простое сопоставление ключевых слов с базой данных)?

Answer 1

Это звучит, как вы хотите, чтобы выполнить экстракцию ключевой фразы из документов, используя контролируемый словарь (ваш словарь терминов и фраз промышленности).

[Курсивом условия выше, чтобы помочь вам найти соответствующие ответы на SO и Google]

---

Этот уровень анализа принимает вас немного из стека поиска в стек обработки естественного языка. Поскольку НЛП имеет тенденцию быть ресурсоемким, он имеет тенденцию проходить в автономном режиме или в случае поисковых запросов в индекс-время.

Чтобы осуществить это, нужно:

1. Интегрировать инструмент для извлечения ключевой фразы, в код поиска индексации, чтобы сгенерировать список распознаваемых ключевых фраз для каждого документа.
2. Укажите эти ключевые фразы как shingles в новое поле поиска Elasticsearch.
3. Включите это поле ключевой фраки в список полей, поиск по времени запроса - скорее всего, с повышением баллов.

Для быстрого выигрыша, который поможет вам с контролируемым изъятием ключевой фразы, зарегистрируйтесь KEA (написан в java).

(Вы могли бы также, вероятно, написать свой собственный, но если вы также надеются извлечь неконтролируемых ключевых фраз (не в словаре), а также, обученный экстрактор будет служить вам лучше. More tools here.)