2 всего текста сходство с использованием levenshtein distance

Question

У меня есть два текстовых файла, которые я бы хотел сравнить. Что я сделал:

1. Я разделил их оба на предложения.
2. Я измерил расстояние levenshtein между каждым из предложений из одного файла с каждым из предложений из второго файла.

Я хотел бы вычислить среднее сходство между этими двумя текстовыми файлами, однако у меня есть проблемы, чтобы доставить какое-либо значимое значение - очевидно, средних арифметический (сумму всех расстояний [нормированный] делится на числе сравнений) является плохая идея.

Как интерпретировать такие результаты?

Редактировать: Значения расстояний нормализуются.

Answer 1

Расстояние от levenshtein имеет максимальное значение, то есть макс. длина обеих входных строк. Это не может ухудшиться. Таким образом, нормализованный индекс подобия (0 = плохое, 1 = совпадение) для двух строк a и b может быть рассчитан как 1- расстояние (a, b)/max (a.length, b.length).

Возьмите одно предложение из файла A. Вы сказали, что сравниваете это с каждым предложением файла B. Я думаю, вы ищете предложение из B, которое имеет наименьшее расстояние (то есть самый высокий индекс подобия).

Просто вычислите среднее значение всех этих минимальных индексов подобия. Это должно дать вам приблизительную оценку сходства двух текстов.

Но что заставляет вас думать, что два похожих текста могут привести к перестановке их предложений? Мое личное мнение состоит в том, что вы также должны вводить списки стоп-слов, синонимы и все такое.

Тем не менее: пожалуйста, также проверьте соответствие триграмм, которое может быть другим хорошим подходом к тому, что вы ищете.