Нечеткий поиск во время выполнения без использования базы данных \ index

Question

Мне нужно фильтровать поток текстовых статей, проверяя каждую запись для нечетких совпадений предопределенной строки (я искал имена продуктов с орфографическими ошибками, иногда они имеют разный порядок слов и лишних буквенных символов например «:» или «,»).

Я получаю отличные результаты, помещая эти статьи в индекс sphinx и выполняя поиск по нему, но, к сожалению, я получаю сотни статей каждую секунду и обновляю индекс после того, как каждая статья слишком медленная (и я понимаю, что она не предназначена для таких задача). Мне нужна библиотека, которая может построить в памяти индекс малого ~ 100 КБ текста и выполнять нечеткий поиск на нем, что-то вроде этого существует?

Answer 1

Эта проблема почти идентична Bayesian spam filtering, и уже написанные инструменты, которые могут быть обучены распознавать в соответствии с вашими критериями.

добавлен в ответ на комментарий:

Так как вы разбивая поток в бункерах сейчас? Если у вас уже есть состав разделенных статей, просто подайте это в классификатор. Байесовские классификаторы - это способ нечеткого соответствия содержания в контексте и могут классифицировать все от спама до нуклеотидов до астрономических спектральных категорий.

Вы можете использовать менее стохастические методы (например, Levenshtein), но в какой-то момент вам нужно описать разницу между хитами и промахами. Красота байесовских методов, особенно если у вас уже есть разделенный корпус в руке, заключается в том, что вам действительно не нужно четко знать, как вы классифицируете.

Answer 2

Как насчет использования расширения sqlite fts3?

CREATE VIRTUAL TABLE enrondata1 ИСПОЛЬЗОВАНИЕ fts3 (content TEXT);

(Вы можете создать любое количество столбцов - все они будут проиндексированы)

После этого вы вводите все, что вам нравится, и можете найти его без восстановления индекса - соответствие либо конкретного столбца или всего ряд.

(http://www.sqlite.org/fts3.html)