Python сравнение сравнения строк

Question

Я пытаюсь сравнить два списка данных, которые имеют некоторый свободный текст, обозначающий один и тот же объект. пример

List 1 ['abc LLC','xyz, LLC'] 
List 2 ['abc , LLC','xyz LLC'] 

Это простой пример, но проблема в том, что может быть много изменений, таких как изменения в случае или добавление некоторых "." между. Есть ли какой-либо пакет python, который может выполнить сравнение и дать меру сходства?

Answer 1

Вы можете использовать реализацию алгоритма Levenshtein Distance для неточного соответствия строк, например this one from Wikibooks.

Другим вариантом было бы, например, сложить все в нижнем регистре, удалить пробелы и т.д. до сырым сравнения - это, конечно, зависит от случая использования:

import string, unicodedata 
allowed = string.letters + string.digits 
def fold(s): 
    s = unicodedata.normalize("NFKD", unicode(s).lower()).encode("ascii", "ignore") 
    s = "".join(c for c in s if c in allowed) 
    return s 

for example in ['abc LLC','xyz, LLC', 'abc , LLC','xyz LLC']: 
    print "%r -> %r" % (example, fold(example)) 

напечатает

'abc LLC' -> 'abcllc' 
'xyz, LLC' -> 'xyzllc' 
'abc , LLC' -> 'abcllc' 
'xyz LLC' -> 'xyzllc' 

Answer 2

есть отличная бинарная библиотека, которая использует расстояние levenshtein (расстояние редактирования) между строками для оценки сходства. Дайте ему попробовать:

https://github.com/miohtama/python-Levenshtein